Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

Autoren: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov · arXiv 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein einziges VLA mit ~4B, in fünf Stufen trainiert (Webdaten, Multi-Roboter-Vortraining, Roboter-Tuning, RL), steuert humanoide, zweiarmige und einarmige Roboter über einen gemeinsamen Aktionsraum mit 64 Slots.

Warum es wichtig ist

Die Arbeit liefert konkrete, wiederverwendbare Rezepte zum Mischen heterogener Roboterdatensätze: maskierte einheitliche Aktionsslots, auf optischem Fluss beruhende Angleichung der Geschwindigkeit, Qualitätsmetriken zur Gewichtung von Datensätzen und ein Sampling-Zeitplan, der gleichverteilt beginnt. Ihre RL-Stufe verbessert eine Flow-Matching-Policy, ohne RL-Gradienten in das Basismodell zurückzupropagieren, und dieselbe Checkpoint-Familie wird auf einem realen Humanoiden, einem realen zweiarmigen Cobot und zwei simulierten Benchmarks evaluiert.

Problem

Roboterdatensätze unterscheiden sich in Beobachtungslayout, Aktionsraum und Abtastrate, und ihre Qualität reicht von zittrigen Trajektorien bis zu unscharfen Bildern. Alle Aktionen in einen Vektor aufzufüllen, lässt eine Multi-Roboter-Policy über inkompatible Ziele mitteln, und Verhaltensklonung allein sättigt bei kontaktreichen Aufgaben mit langem Horizont. Reasoning-lastige VLAs, die mit Chain-of-Thought planen, fügen Latenz hinzu, die sich Echtzeitsteuerung nicht leisten kann.

Lösungsansatz

Das Training verläuft in Stufen: eine PaliGemma-Basis (3B), multimodales Grounding mit Webdaten auf 24M Samples (L1), Vortraining auf etwa 3.000 Stunden Multi-Roboter-Daten (R0), verkörperungsspezifisches Fine-Tuning (R1) und RL-Ausrichtung (R2), die Daten mit einer Q-Funktion verbessert und einen Rausch-Actor für den Flow-Matching-Action-Expert lernt. Eine DataQA-Pipeline filtert Episoden nach Zittern, Schärfe, Vielfalt und Zustandsvarianz, ein auf optischem Fluss beruhendes Resampling gleicht die Bewegungsgeschwindigkeit über Datensätze an, und ein maskierter 64-dimensionaler einheitlicher Aktionsraum mit einem Verkörperungs-Prompt ersetzt das Auffüllen mit Nullen. Bei der Inferenz sagt die Policy den Episodenfortschritt vorher, ein OOD-Detektor auf Basis einer Gaußschen Mischung schiebt Zustände zurück in Richtung der Trainingsverteilung, und ein Gelenkvorhersagemodul hebt ein von einem VLM gezeigtes 2D-Ziel in 3D und führt Flow Matching dorthin.

Wichtigste Erkenntnisse

Heterogene Aktionen mit Nullen in einen Vektor aufzufüllen, fügt einen Scheinverlust auf ungenutzten Dimensionen hinzu; den Verlust auf ein festes semantisches Layout zu maskieren, beseitigt ihn und lässt eine Policy Gelenk- und kartesische Semantik nebeneinander behalten.
Die Datensatzmischung gleichverteilt zu beginnen und schrittweise zu den Zielgewichten zu verschieben, verhindert, dass große Datensätze einen Optimierer mit hohem Momentum dominieren und seltene Verkörperungen verdrängen.
Das Spiegeln von Episoden entlang der bilateralen Symmetrie des Roboters und die zeitliche Umkehr reversibler Fertigkeiten erweiterten 48 Stunden humanoider Aufnahmen auf 167 effektive Trainingsstunden.
Den Flow-Matching-Sampler zu einem sprachlich verankerten 3D-Zielpunkt zu führen, steigert das Greifen exakt bestimmter Artikel weit über das hinaus, was die Policy allein erreicht.
Eine RL-Ausrichtung, die Trajektorien mit Q-Gradienten bearbeitet oder die Verteilung des Quellrauschens lernt, verbessert den Erfolg, während die Gewichte des Basismodells von RL-Gradienten unberührt bleiben.

Hauptergebnisse

Reales Abräumen eines Tisches mit AgileX Cobot Magic, R0-Checkpoint ohne Fine-Tuning gegen Baselines mit 20.000 Iterationen Fine-Tuning: Erfolg beim ersten Artikel 69,5 % gegenüber 38,4 % für AgiBot GO-1 und 35,6 % für π0, mittlere Abräumzeit 1m35s gegenüber 2m59s für π0.
Gesamtdurchschnitt Simpler Google Robot: 60,2 (R0), 61,3 (R1) und 71,8 (R2), gegenüber 56,8 für feinabgestimmtes π0, 46,5 für RT-1-X und 33,8 für OpenVLA.
Durchschnittlicher Erfolg Simpler WidowX: 45,0 (R0), 55,2 (R1) und 79,1 (R2), gegenüber 73,2 für DB-MemVLA und 27,1 für feinabgestimmtes π0; der Text gibt den Gewinn von R1 zu R2 als absolute 24 % an.
Durchschnittliche Kettenlänge CALVIN ABC→D: 3,6 für π0 R1, 4,18 für Green-VLA R1, 4,53 für Flower R1 und 4,63 für Green-VLA R2.
Greifen aus E-Commerce-Regalen: Die Führung durch Gelenkvorhersage erhöhte den Top-1-Erfolg von 62,3 % auf 95,4 % (Markenebene), von 36,7 % auf 93,1 % (exakte SKU) und von 10,2 % auf 72,8 % (ungesehene SKUs).
Erfolg des Green-Humanoiden beim Befolgen von Anweisungen laut Fig. 12: Greifen 98 %, in Korb legen 100 %, aus Korb greifen 77 %, dem Nutzer geben 99 %, Übergabe 84 %, vollständiges Abräumen des Tisches 87 %, Durchschnitt 90 %.

Einschränkungen

Die Autoren geben an, dass die Leistung weiterhin von der Treue des Retargetings, verbleibendem Datensatz-Bias und ausreichender Abdeckung geschickter Fertigkeiten abhängt.
Der RL-Schritt zur Trajektorienoptimierung verbessert eine Trajektorie nicht garantiert, daher wird jede optimierte Trajektorie von einem Bediener validiert, der die Szene zurücksetzt und sie erneut ausführt, bevor sie zu den Daten hinzugefügt wird.
Auf CALVIN liegt das R1-Modell (ACL 4,18) hinter Flower R1 (4,53), und der einheitliche Aktionsraum wird für diesen Benchmark nicht verwendet; R2 erreicht 4,63.
Die Simpler-Werte für Flower, OpenVLA und RT-1-X stammen aus veröffentlichten Berichten statt aus eigenen Läufen, und die Humanoid-Ergebnisse werden als Prozentsätze ohne Episodenzahlen angegeben; die Bildunterschrift zu Fig. 12 erwähnt In-Domain- und Out-of-Domain-Einstellungen, das Diagramm zeigt aber nur eine einzige Reihe.
Der R0-Vergleich beim Abräumen des Tisches stellt ein nicht nachtrainiertes Green-VLA gegen Baselines, die auf Aufgabendaten feinabgestimmt wurden, und ein leichtgewichtiges Reasoning-Modul sowie mehrsprachige Anweisungen bleiben künftiger Arbeit überlassen.

Wirkung auf das Fachgebiet

Hugging Face Daily Papers: 311 Upvotes, unter den obersten 5 % der dortigen Robotik-Papers der letzten sechs Monate. Die Arbeit verlinkt ein Code-Repository und eine Projektseite.

Zusammenfassung

Wir stellen Green-VLA vor, ein gestuftes Vision–Language–Action-Framework für den realen Einsatz auf dem humanoiden Green-Roboter, das zugleich die Generalisierung über verschiedene Verkörperungen hinweg erhält. Green-VLA folgt einem fünfstufigen Curriculum: (L0) grundlegende VLMs, (L1) multimodales Grounding, (R0) Vortraining über mehrere Verkörperungen, (R1) verkörperungsspezifische Anpassung und (R2) RL-basierte Ausrichtung der Policy. Der Fortschritt durch die Stufen baut semantische und physikalische Priors auf, lernt gemeinsame Affordanzen und richtet Policies für die Ausführung über lange Horizonte jenseits der Verhaltensklonung aus. Im Kern steht ein einheitlicher Daten- und Steuerungs-Stack für Roboterflotten. Eine skalierbare Datenverarbeitungs-Pipeline einschließlich DataQA und zeitlicher Ausrichtung filtert und synchronisiert 3.000 Stunden an Demonstrationen; eine einheitliche, verkörperungsbewusste Aktionsschnittstelle ermöglicht es einer einzigen Policy, Humanoide, mobile Manipulatoren und Arme mit fester Basis zu steuern; und der VLA-Regler wird um die Vorhersage des Episodenfortschritts, die Erkennung von Out-of-Distribution-Zuständen und ein auf Gelenkvorhersage basierendes Führungsmodul ergänzt, das auf ungesehene Objekte generalisiert. Optimiert für den Green-Humanoiden generalisiert Green-VLA zero-shot auf neue Verkörperungen und erreicht Leistung nach dem Stand der Technik über zweiarmige Systeme und Benchmarks hinweg, wobei die RL-Ausrichtung Gewinne bei Erfolgsrate, Robustheit und Effizienz über lange Horizonte bringt.

Open Source Robotics