Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

World Action Models are Zero-shot Policies

Autori: Seonghyeon Ye, Yunhao Ge, Kaiyuan Zheng, Shenyuan Gao, Sihyun Yu, George Kurian, Suneel Indupuru, You Liang Tan, Chuning Zhu, Jiannan Xiang, Ayaan Malik, Kyungmin Lee, William Liang, Nadun Ranawaka, Jiasheng Gu, Yinzhen Xu, Guanzhi Wang, Fengyuan Hu, Avnish Narayan, Johan Bjorck, Jing Wang, Gwanghyun Kim, Dantong Niu, Ruijie Zheng, Yuqi Xie, Jimmy Wu, Qi Wang, Ryan Julian, Danfei Xu, Yilun Du, Yevgen Chebotar, Scott Reed, Jan Kautz, Yuke Zhu, Linxi "Jim" Fan, Joel Jang · CoRL 2026

CoRL 2026

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un backbone di diffusione video predice congiuntamente fotogrammi futuri e azioni: generalizzazione 2 volte migliore dei VLA e adattamento a un nuovo embodiment robotico con appena 30 minuti di dati di gioco libero.

Perché è importante

DreamZero rappresenta la convergenza tra generazione di video e apprendimento robotico: mostra che i modelli del mondo costruiti su fondamenta di diffusione video possono fungere da policy robotiche zero-shot, scavalcando il paradigma VLA per la generalizzazione.

Problema

I modelli VLA mappano direttamente le osservazioni in azioni ma faticano a generalizzare a nuovi compiti e ambienti. Serve una rappresentazione del mondo più ricca.

Soluzione proposta

Costruisce un World Action Model su un backbone di diffusione video preaddestrato che predice congiuntamente i fotogrammi video futuri e le azioni del robot, usando il video come rappresentazione densa della dinamica fisica per il trasferimento zero-shot delle policy.

Idee chiave

  • I modelli di generazione video codificano una ricca dinamica del mondo fisico che si può sfruttare per il controllo robotico
  • La predizione congiunta video-azione supera la mappatura diretta da osservazione ad azione (VLA) per la generalizzazione
  • Il trasferimento cross-embodiment funziona con appena 10-20 minuti di dati di dimostrazione provenienti da altri robot o da esseri umani
  • Il modello autoregressivo da 14 miliardi di parametri esegue un controllo in anello chiuso in tempo reale a 7 Hz

Risultati principali

  • Miglioramento della generalizzazione a nuovi compiti di oltre 2 volte rispetto ai VLA allo stato dell'arte
  • Il modello da 14 miliardi di parametri esegue un controllo in anello chiuso in tempo reale a 7 Hz
  • Miglioramento di oltre il 42% su compiti non visti con 10-20 minuti di dimostrazioni cross-embodiment
  • Si trasferisce a un nuovo embodiment robotico con appena 30 minuti di dati di gioco libero

Limiti

  • Richiede come backbone un grande modello di diffusione video preaddestrato: calcolo notevole per l'addestramento
  • Molto recente (febbraio 2026): finora le repliche indipendenti sono limitate
  • L'inferenza in tempo reale a 7 Hz può essere ancora troppo lenta per i compiti di controllo ad alta frequenza

Impatto sul settore

DreamZero rappresenta la convergenza tra generazione di video e apprendimento robotico, due campi prima separati. Costruendo le policy robotiche sopra modelli di diffusione video preaddestrati, suggerisce che l'enorme investimento nell'IA video possa essere trasferito direttamente alla robotica. Questo potrebbe rendere obsoleto il paradigma VLA per i compiti di generalizzazione e cambiare il modo in cui si costruiscono i foundation model robotici.

Abstract

DreamZero introduce i World Action Model (WAM), modelli costruiti su un backbone di diffusione video preaddestrato che predicono congiuntamente i fotogrammi video futuri e le azioni del robot. Invece dell'approccio VLA, che mappa direttamente le osservazioni in azioni, DreamZero usa il video come rappresentazione densa di come evolve il mondo, imparando la dinamica fisica insieme alla predizione delle azioni. Ottiene un miglioramento della generalizzazione di oltre 2 volte rispetto ai VLA allo stato dell'arte.

Link

  • arXiv 2602.15922: https://arxiv.org/abs/2602.15922
  • PDF: https://arxiv.org/pdf/2602.15922
  • Codice: https://github.com/dreamzero0/dreamzero
  • Pagina del progetto: https://dreamzero0.github.io/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.