VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model
Autori: Yanjiang Guo, Tony Lee, Lucy Xiaoyang Shi, Jianyu Chen, Percy Liang, Chelsea Finn · ICML 2026
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.
In breve
Usiamo i rollout di un modello del mondo per migliorare le prestazioni dei modelli Vision-Language-Action nel mondo reale.
Perché è importante
Collega le policy Vision-Language-Action con i modelli del mondo appresi, affrontando un collo di bottiglia chiave: l'alto costo dei rollout nel mondo reale per perfezionare i VLA.
Problema
I modelli Vision-Language-Action si possono migliorare con rollout online delle policy, ma i rollout nel mondo reale sono costosi e lenti. I modelli del mondo appresi esistenti non hanno la fedeltà fisica necessaria per migliorare le policy: di solito sono addestrati su dati di dimostrazione che sottorappresentano i casi di fallimento e non colgono la dinamica di contatto fine che conta per la manipolazione.
Soluzione proposta
VLAW alterna (1) la raccolta di un numero limitato di rollout nel mondo reale per sottoporre a fine-tuning un modello del mondo video condizionato dalle azioni e (2) l'uso di rollout all'interno del modello del mondo migliorato per generare supervisione sintetica per il VLA. I due modelli migliorano insieme: a ogni ciclo la policy riceve nuovi dati e il modello del mondo acquista maggiore fedeltà fisica, senza grandi nuove raccolte di dati su robot reali.
Idee chiave
- I modelli del mondo addestrati solo su dimostrazioni non hanno la fedeltà fisica necessaria per migliorare le policy; servono anche dati di fallimento.
- Il miglioramento congiunto iterativo di policy e modello del mondo rompe lo stallo di bootstrapping tra i due.
- I modelli di generazione video condizionati dalle azioni possono sostituire i rollout nel mondo reale quando la fedeltà è sufficiente.
- I rollout nel mondo reale restano necessari come riferimento: il ciclo converge mescolando dati reali e sintetici.
Risultati principali
- Su un robot reale, VLAW migliora i tassi di successo del VLA di base rispetto alle baseline solo SFT senza aumentare la raccolta di dati reali.
- La fedeltà del modello del mondo (misurata rispetto ai rollout reali) migliora a ogni iterazione del ciclo di co-addestramento.
- I dati sintetici generati dal modello del mondo migliorato si traducono in modo significativo in guadagni della policy nel mondo reale.
- Il metodo è compatibile con backbone VLA disponibili in commercio: nessuna modifica all'architettura richiesta.
Limiti
- Richiede comunque rollout su robot reale a ogni iterazione; non è zero-shot.
- Portata da articolo di workshop: viene riportata una diversità limitata di compiti ed embodiment.
- La qualità del modello video condizionato dalle azioni fa da collo di bottiglia per il segnale dei dati sintetici.
Impatto sul settore
VLAW è una delle dimostrazioni più pulite di co-addestramento bidirezionale policy↔modello del mondo nella robotica. Collega le linee di ricerca sui VLA e sui World Models e indica un futuro in cui ogni VLA in servizio porta con sé un simulatore appreso privato che migliora a ogni interazione.
Abstract
L'obiettivo di questo articolo è migliorare le prestazioni e l'affidabilità dei modelli Vision-Language-Action (VLA) tramite un'interazione online iterativa. Poiché raccogliere rollout delle policy nel mondo reale è costoso, indaghiamo se un simulatore appreso, nello specifico un modello di generazione video condizionato dalle azioni, possa sostituire i rollout nel mondo reale durante il ciclo di miglioramento della policy. Proponiamo VLAW, un framework iterativo che alterna rollout della policy in un modello del mondo appreso, apprendimento del valore e distillazione della policy, consentendo al VLA e al modello del mondo di migliorare insieme nel tempo.
Link
- arXiv 2602.12063: https://arxiv.org/abs/2602.12063
- DOI 10.48550/arXiv.2602.12063: https://doi.org/10.48550/arXiv.2602.12063
- PDF: https://arxiv.org/pdf/2602.12063
- Pagina del progetto: https://openreview.net/forum?id=Ro0eQ0ly3q