Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

Auteurs: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov · arXiv 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un seul VLA d'environ 4B entraîné en cinq étapes (données web, pré-entraînement multi-robots, ajustement par robot, RL) commande des robots humanoïdes, à deux bras et à un bras via un espace d'action partagé à 64 emplacements.

Pourquoi c'est important

L'article fournit des recettes concrètes et réutilisables pour mélanger des jeux de données robotiques hétérogènes : emplacements d'action unifiés masqués, alignement de vitesse fondé sur le flot optique, métriques de qualité pour pondérer les jeux de données et un calendrier d'échantillonnage qui commence uniforme. Son étape de RL améliore une politique de flow matching sans rétropropager de gradients de RL dans le modèle de base, et la même famille de points de contrôle est évaluée sur un humanoïde réel, un cobot à deux bras réel et deux benchmarks simulés.

Problème

Les jeux de données robotiques diffèrent par la disposition des observations, l'espace d'action et la fréquence d'échantillonnage, et leur qualité varie des trajectoires saccadées aux images floues. Compléter toutes les actions dans un même vecteur conduit une politique multi-robots à moyenner des cibles incompatibles, et le clonage de comportement seul plafonne sur les tâches à long horizon riches en contacts. Les VLA à fort raisonnement qui planifient par chaîne de pensée ajoutent une latence que la commande en temps réel ne peut pas se permettre.

Solution proposée

L'entraînement se déroule par étapes : une base PaliGemma (3B), un ancrage multimodal sur des données web avec 24M échantillons (L1), un pré-entraînement sur environ 3 000 heures de données multi-robots (R0), un réglage fin spécifique au corps (R1) et un alignement par RL (R2) qui améliore les données avec une fonction Q et apprend un acteur de bruit pour l'expert d'action de flow matching. Un pipeline DataQA filtre les épisodes selon le tremblement, la netteté, la diversité et la variance d'état, un rééchantillonnage fondé sur le flot optique égalise la vitesse des mouvements entre jeux de données, et un espace d'action unifié masqué à 64 dimensions, accompagné d'une invite de corps, remplace le complément par des zéros. À l'inférence, la politique prédit l'avancement de l'épisode, un détecteur OOD à mélange gaussien ramène les états vers la distribution d'entraînement, et un module de prédiction articulaire élève en 3D une cible 2D pointée par un VLM et guide le flow matching vers elle.

Idées clés

• Compléter par des zéros des actions hétérogènes dans un même vecteur ajoute une perte parasite sur les dimensions inutilisées ; masquer la perte selon une disposition sémantique fixe la supprime et permet à une même politique de conserver côte à côte les sémantiques articulaire et cartésienne.
• Commencer le mélange de jeux de données de manière uniforme et le déplacer progressivement vers les poids cibles empêche les grands jeux de données de dominer un optimiseur à fort momentum et d'effacer les corps rares.
• La mise en miroir des épisodes selon la symétrie bilatérale du robot et l'inversion temporelle des compétences réversibles ont porté 48 heures d'enregistrements humanoïdes à 167 heures d'entraînement effectives.
• Guider l'échantillonneur de flow matching vers un point cible 3D ancré dans le langage améliore la saisie de l'article exact bien au-delà de ce qu'obtient la politique seule.
• Un alignement par RL qui modifie les trajectoires avec des gradients de Q ou apprend la distribution du bruit source améliore la réussite tout en laissant les poids du modèle de base intacts vis-à-vis des gradients de RL.

Principaux résultats

• Débarrassage réel de table avec AgileX Cobot Magic, point de contrôle R0 sans réglage fin face à des références affinées pendant 20 000 itérations : réussite sur le premier article de 69,5 % contre 38,4 % pour AgiBot GO-1 et 35,6 % pour π0, et temps moyen de débarrassage de 1m35s contre 2m59s pour π0.
• Moyenne globale Simpler Google Robot : 60,2 (R0), 61,3 (R1) et 71,8 (R2), contre 56,8 pour π0 affiné, 46,5 pour RT-1-X et 33,8 pour OpenVLA.
• Réussite moyenne Simpler WidowX : 45,0 (R0), 55,2 (R1) et 79,1 (R2), contre 73,2 pour DB-MemVLA et 27,1 pour π0 affiné ; le texte indique un gain de R1 à R2 de 24 % en absolu.
• Longueur moyenne de chaîne CALVIN ABC→D : 3,6 pour π0 R1, 4,18 pour Green-VLA R1, 4,53 pour Flower R1 et 4,63 pour Green-VLA R2.
• Prélèvement en rayonnage de e-commerce : le guidage par prédiction articulaire a fait passer la réussite top-1 de 62,3 % à 95,4 % (niveau marque), de 36,7 % à 93,1 % (SKU exact) et de 10,2 % à 72,8 % (SKU inédits).
• Réussite du suivi d'instructions de l'humanoïde Green telle que tracée sur la Fig. 12 : saisir 98 %, déposer dans un panier 100 %, saisir dans un panier 77 %, donner à l'utilisateur 99 %, passation 84 %, débarrassage complet de la table 87 %, moyenne 90 %.

Limites

• Les auteurs indiquent que les performances dépendent encore de la fidélité du reciblage, du biais résiduel des jeux de données et d'une couverture suffisante des compétences de manipulation dextre.
• L'étape de RL par optimisation de trajectoire ne garantit pas d'améliorer une trajectoire ; chaque trajectoire optimisée est donc validée par un opérateur qui réinitialise la scène et la réexécute avant de l'ajouter aux données.
• Sur CALVIN, le modèle R1 (ACL 4,18) reste derrière Flower R1 (4,53), et l'espace d'action unifié n'est pas utilisé pour ce benchmark ; R2 atteint 4,63.
• Les chiffres Simpler de Flower, OpenVLA et RT-1-X sont repris de publications plutôt que réexécutés, et les résultats humanoïdes sont donnés en pourcentages sans nombre d'épisodes ; la légende de la Fig. 12 mentionne des réglages dans le domaine et hors domaine, mais le graphique ne montre qu'une seule série.
• La comparaison de débarrassage de table en R0 oppose un Green-VLA non ajusté à des références affinées sur les données de la tâche, et un module de raisonnement léger ainsi que les instructions multilingues sont laissés à des travaux futurs.

Impact sur le domaine

Hugging Face Daily Papers : 311 votes positifs, dans les 5 % supérieurs des articles de robotique de ce site sur les six derniers mois. L'article renvoie à un dépôt de code et à une page de projet.

Résumé

Nous présentons Green-VLA, un cadre Vision–Langage–Action par étapes destiné au déploiement en conditions réelles sur le robot humanoïde Green, tout en maintenant la généralisation à des corps robotiques variés. Green-VLA suit un curriculum en cinq étapes : (L0) VLM de base, (L1) ancrage multimodal, (R0) pré-entraînement multi-corps, (R1) adaptation spécifique au corps et (R2) alignement de la politique par RL. Cette progression construit des a priori sémantiques et physiques, apprend des affordances partagées et aligne les politiques pour une exécution à long horizon au-delà du clonage de comportement. Au cœur du système se trouve une pile unifiée de données et de commande pour des flottes de robots. Un pipeline de traitement de données évolutif, comprenant DataQA et l'alignement temporel, filtre et synchronise 3 000 heures de démonstrations ; une interface d'action unifiée et consciente du corps permet à une seule politique de commander des humanoïdes, des manipulateurs mobiles et des bras à base fixe ; et le contrôleur VLA est enrichi d'une prédiction de l'avancement de l'épisode, d'une détection hors distribution et d'un module de guidage fondé sur la prédiction articulaire qui généralise à des objets inédits. Optimisé pour l'humanoïde Green, Green-VLA généralise en zero-shot à de nouveaux corps et atteint des performances à l'état de l'art sur des systèmes bimanuels et des benchmarks, l'alignement par RL apportant des gains en taux de réussite, en robustesse et en efficacité à long horizon.

Liens

• arXiv 2602.00919: https://arxiv.org/abs/2602.00919
• PDF: https://arxiv.org/pdf/2602.00919v1
• Code: https://github.com/greenvla/GreenVLA
• Page du projet: https://greenvla.github.io/