Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

Autori: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov · arXiv 2026

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un unico VLA da ~4B addestrato in cinque stadi (dati web, preaddestramento multi-robot, adattamento al robot, RL) controlla un umanoide, robot a due bracci e a un braccio attraverso uno spazio d'azione condiviso a 64 slot.

Perché è importante

L'articolo fornisce ricette concrete e riutilizzabili per mescolare dataset robotici eterogenei: slot d'azione unificati con maschera, allineamento della velocità basato sul flusso, metriche di qualità per pesare i dataset e un piano di campionamento che parte uniforme. Il suo stadio RL migliora una policy di flow matching senza retropropagare gradienti RL nel modello di base, e la stessa famiglia di checkpoint è valutata su un umanoide reale, su un cobot reale a due bracci e su due benchmark simulati.

Problema

I dataset robotici differiscono per layout delle osservazioni, spazio d'azione e frequenza di campionamento, e la loro qualità varia da traiettorie tremolanti a fotogrammi sfocati. Riempire tutte le azioni in un unico vettore fa sì che una policy multi-robot faccia la media di obiettivi incompatibili, e il behavior cloning da solo si satura su compiti a lungo orizzonte e ricchi di contatti. I VLA incentrati sul ragionamento che pianificano con chain-of-thought aggiungono una latenza che il controllo in tempo reale non può permettersi.

Soluzione proposta

L'addestramento procede per stadi: una base PaliGemma (3B), grounding multimodale su dati web con 24M campioni (L1), preaddestramento su circa 3.000 ore di dati multi-robot (R0), fine-tuning specifico per l'embodiment (R1) e allineamento RL (R2), che migliora i dati con una funzione Q e apprende un attore del rumore per l'esperto d'azione di flow matching. Una pipeline DataQA filtra gli episodi per tremolio, nitidezza, diversità e varianza dello stato, un ricampionamento basato sul flusso ottico uniforma la velocità di movimento tra i dataset, e uno spazio d'azione unificato a 64 dimensioni con maschera e un prompt di embodiment sostituisce il riempimento con zeri. In inferenza la policy predice l'avanzamento dell'episodio, un rilevatore OOD a miscela gaussiana spinge gli stati di nuovo verso la distribuzione di addestramento, e un modulo di predizione dei giunti porta in 3D un obiettivo 2D indicato da un VLM e guida il flow matching verso di esso.

Idee chiave

• Riempire di zeri azioni eterogenee in un unico vettore aggiunge una perdita spuria sulle dimensioni inutilizzate; mascherare la perdita secondo un layout semantico fisso la elimina e permette a una sola policy di mantenere fianco a fianco la semantica dei giunti e quella cartesiana.
• Far partire la miscela di dataset uniforme e spostarla gradualmente verso i pesi obiettivo impedisce ai dataset grandi di dominare un ottimizzatore ad alto momento e di cancellare gli embodiment rari.
• Specchiare gli episodi secondo la simmetria bilaterale del robot e invertire nel tempo le abilità reversibili ha esteso 48 ore di registrazioni dell'umanoide a 167 ore effettive di addestramento.
• Guidare il campionatore di flow matching verso un punto obiettivo 3D ancorato al linguaggio aumenta il prelievo dell'articolo esatto molto più di quanto ottenga la policy da sola.
• L'allineamento RL che modifica le traiettorie con i gradienti di Q o apprende la distribuzione del rumore di partenza migliora il successo lasciando i pesi del modello di base non toccati dai gradienti RL.

Risultati principali

• Pulizia reale del tavolo con AgileX Cobot Magic, checkpoint R0 senza fine-tuning contro metodi di riferimento sottoposti a fine-tuning per 20.000 iterazioni: successo sul primo articolo del 69,5% contro il 38,4% di AgiBot GO-1 e il 35,6% di π0, e tempo medio di sgombero di 1m35s contro 2m59s di π0.
• Media complessiva su Simpler Google Robot: 60,2 (R0), 61,3 (R1) e 71,8 (R2), contro 56,8 di π0 con fine-tuning, 46,5 di RT-1-X e 33,8 di OpenVLA.
• Successo medio su Simpler WidowX: 45,0 (R0), 55,2 (R1) e 79,1 (R2), contro 73,2 di DB-MemVLA e 27,1 di π0 con fine-tuning; il testo indica il guadagno da R1 a R2 come un 24% assoluto.
• Lunghezza media della catena su CALVIN ABC→D: 3,6 per π0 R1, 4,18 per Green-VLA R1, 4,53 per Flower R1 e 4,63 per Green-VLA R2.
• Prelievo da scaffali e-commerce: la guida tramite predizione dei giunti ha portato il successo top-1 dal 62,3% al 95,4% (livello di marca), dal 36,7% al 93,1% (SKU esatto) e dal 10,2% al 72,8% (SKU non visti).
• Successo dell'umanoide Green nel seguire le istruzioni come riportato nella Fig. 12: prendere 98%, mettere nel cestino 100%, prendere dal cestino 77%, consegnare all'utente 99%, passaggio di mano 84%, pulizia completa del tavolo 87%, media 90%.

Limiti

• Gli autori affermano che le prestazioni dipendono ancora dalla fedeltà del retargeting, dal bias residuo dei dataset e da un'adeguata copertura delle abilità di manipolazione fine.
• Non è garantito che il passo RL di ottimizzazione delle traiettorie migliori una traiettoria, quindi ogni traiettoria ottimizzata viene convalidata da un operatore che ripristina la scena e la riesegue prima che venga aggiunta ai dati.
• Su CALVIN il modello R1 (ACL 4,18) resta dietro a Flower R1 (4,53), e lo spazio d'azione unificato non è usato per questo benchmark; R2 arriva a 4,63.
• I valori di Flower, OpenVLA e RT-1-X su Simpler sono presi da report pubblicati anziché rieseguiti, e i risultati dell'umanoide sono dati come percentuali senza numero di episodi; la didascalia della Fig. 12 menziona impostazioni in-domain e out-of-domain ma il grafico mostra una sola serie.
• Il confronto di pulizia del tavolo di R0 mette un Green-VLA non adattato contro metodi di riferimento sottoposti a fine-tuning sui dati del compito, e un modulo di ragionamento leggero e le istruzioni multilingue sono lasciati a lavori futuri.

Impatto sul settore

Hugging Face daily papers: 311 voti positivi, nel 5% superiore degli articoli di robotica lì presenti negli ultimi sei mesi. L'articolo fornisce il link a un repository di codice e a una pagina del progetto.

Abstract

Presentiamo Green-VLA, un framework Vision-Language-Action a stadi per il dispiegamento nel mondo reale sul robot umanoide Green, che mantiene la generalizzazione su embodiment diversi. Green-VLA segue un curriculum in cinque stadi: (L0) VLM di base, (L1) grounding multimodale, (R0) preaddestramento multi-embodiment, (R1) adattamento specifico per l'embodiment e (R2) allineamento della policy basato su RL. La progressione costruisce prior semantici e fisici, apprende affordance condivise e allinea le policy per l'esecuzione a lungo orizzonte oltre il behavior cloning. Al suo centro c'è uno stack unificato di dati e controllo per flotte di robot. Una pipeline scalabile di elaborazione dei dati, che comprende DataQA e allineamento temporale, filtra e sincronizza 3.000 ore di dimostrazioni; un'interfaccia d'azione unificata e consapevole dell'embodiment permette a una singola policy di controllare umanoidi, manipolatori mobili e bracci a base fissa; e il controllore VLA è potenziato con la predizione dell'avanzamento dell'episodio, il rilevamento di dati fuori distribuzione e un modulo di guida basato sulla predizione dei giunti che generalizza a oggetti non visti. Ottimizzato per l'umanoide Green, Green-VLA generalizza zero-shot a nuovi embodiment e raggiunge prestazioni allo stato dell'arte su sistemi bimanuali e benchmark, con l'allineamento RL che porta guadagni nel tasso di successo, nella robustezza e nell'efficienza a lungo orizzonte.

Link

• arXiv 2602.00919: https://arxiv.org/abs/2602.00919
• PDF: https://arxiv.org/pdf/2602.00919v1
• Codice: https://github.com/greenvla/GreenVLA
• Pagina del progetto: https://greenvla.github.io/