Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model

Autori: Yanjiang Guo, Tony Lee, Lucy Xiaoyang Shi, Jianyu Chen, Percy Liang, Chelsea Finn · ICML 2026

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

Usiamo i rollout di un modello del mondo per migliorare le prestazioni dei modelli Vision-Language-Action nel mondo reale.

Perché è importante

Collega le policy Vision-Language-Action con i modelli del mondo appresi, affrontando un collo di bottiglia chiave: l'alto costo dei rollout nel mondo reale per perfezionare i VLA.

Problema

I modelli Vision-Language-Action si possono migliorare con rollout online delle policy, ma i rollout nel mondo reale sono costosi e lenti. I modelli del mondo appresi esistenti non hanno la fedeltà fisica necessaria per migliorare le policy: di solito sono addestrati su dati di dimostrazione che sottorappresentano i casi di fallimento e non colgono la dinamica di contatto fine che conta per la manipolazione.

Soluzione proposta

VLAW alterna (1) la raccolta di un numero limitato di rollout nel mondo reale per sottoporre a fine-tuning un modello del mondo video condizionato dalle azioni e (2) l'uso di rollout all'interno del modello del mondo migliorato per generare supervisione sintetica per il VLA. I due modelli migliorano insieme: a ogni ciclo la policy riceve nuovi dati e il modello del mondo acquista maggiore fedeltà fisica, senza grandi nuove raccolte di dati su robot reali.

Idee chiave

  • I modelli del mondo addestrati solo su dimostrazioni non hanno la fedeltà fisica necessaria per migliorare le policy; servono anche dati di fallimento.
  • Il miglioramento congiunto iterativo di policy e modello del mondo rompe lo stallo di bootstrapping tra i due.
  • I modelli di generazione video condizionati dalle azioni possono sostituire i rollout nel mondo reale quando la fedeltà è sufficiente.
  • I rollout nel mondo reale restano necessari come riferimento: il ciclo converge mescolando dati reali e sintetici.

Risultati principali

  • Su un robot reale, VLAW migliora i tassi di successo del VLA di base rispetto alle baseline solo SFT senza aumentare la raccolta di dati reali.
  • La fedeltà del modello del mondo (misurata rispetto ai rollout reali) migliora a ogni iterazione del ciclo di co-addestramento.
  • I dati sintetici generati dal modello del mondo migliorato si traducono in modo significativo in guadagni della policy nel mondo reale.
  • Il metodo è compatibile con backbone VLA disponibili in commercio: nessuna modifica all'architettura richiesta.

Limiti

  • Richiede comunque rollout su robot reale a ogni iterazione; non è zero-shot.
  • Portata da articolo di workshop: viene riportata una diversità limitata di compiti ed embodiment.
  • La qualità del modello video condizionato dalle azioni fa da collo di bottiglia per il segnale dei dati sintetici.

Impatto sul settore

VLAW è una delle dimostrazioni più pulite di co-addestramento bidirezionale policy↔modello del mondo nella robotica. Collega le linee di ricerca sui VLA e sui World Models e indica un futuro in cui ogni VLA in servizio porta con sé un simulatore appreso privato che migliora a ogni interazione.

Abstract

L'obiettivo di questo articolo è migliorare le prestazioni e l'affidabilità dei modelli Vision-Language-Action (VLA) tramite un'interazione online iterativa. Poiché raccogliere rollout delle policy nel mondo reale è costoso, indaghiamo se un simulatore appreso, nello specifico un modello di generazione video condizionato dalle azioni, possa sostituire i rollout nel mondo reale durante il ciclo di miglioramento della policy. Proponiamo VLAW, un framework iterativo che alterna rollout della policy in un modello del mondo appreso, apprendimento del valore e distillazione della policy, consentendo al VLA e al modello del mondo di migliorare insieme nel tempo.

Link

  • arXiv 2602.12063: https://arxiv.org/abs/2602.12063
  • DOI 10.48550/arXiv.2602.12063: https://doi.org/10.48550/arXiv.2602.12063
  • PDF: https://arxiv.org/pdf/2602.12063
  • Pagina del progetto: https://openreview.net/forum?id=Ro0eQ0ly3q

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.