Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Ctrl-World: A Controllable Generative World Model for Robot Manipulation

Autori: Yanjiang Guo, Lucy Xiaoyang Shi, Jianyu Chen, Chelsea Finn · ICLR 2026

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

Proponiamo un modello del mondo controllabile per la manipolazione robotica, usato sia per la valutazione sia per il miglioramento delle policy.

Perché è importante

Un modello del mondo controllabile rende possibile una valutazione rigorosa delle policy senza rollout reali, un collo di bottiglia di lunga data nelle pipeline di valutazione dei VLA.

Problema

Valutare e migliorare le policy robotiche generaliste su oggetti e istruzioni nuovi richiede o un gran numero di rollout reali (lenti e costosi) o dati correttivi etichettati da esperti (anch'essi costosi). I modelli del mondo generativi potrebbero in linea di principio sostituire i rollout reali, ma i modelli del mondo esistenti non hanno la controllabilità necessaria: predizione multivista, condizionamento fine sulle azioni e coerenza nelle interazioni a più passaggi a lungo orizzonte.

Soluzione proposta

Ctrl-World è un modello del mondo generativo multivista e controllabile, progettato per essere compatibile con le moderne policy generaliste. Supporta la predizione multivista, un controllo fine delle azioni di basso livello e interazioni coerenti a lungo orizzonte. Il modello è addestrato in modo da poter essere usato sia per la valutazione delle policy (sostituendo i rollout reali) sia per il loro miglioramento (generando supervisione sintetica per la policy).

Idee chiave

  • La controllabilità (multivista, condizionamento fine sulle azioni e coerenza a lungo orizzonte) è il collo di bottiglia per usare i modelli del mondo come base per le policy.
  • Un unico modello del mondo usato sia per la valutazione sia per il miglioramento è più efficiente che mantenere pipeline separate di valutazione e di addestramento.
  • La predizione multivista è essenziale per la compatibilità con le moderne policy VLA generaliste, che ricevono più flussi di telecamere.
  • La coerenza a lungo orizzonte deriva dall'architettura e dall'obiettivo di addestramento, non solo dalla scala.

Risultati principali

  • Ctrl-World dimostra una valutazione rigorosa delle policy su oggetti sconosciuti senza rollout nel mondo reale.
  • Le policy migliorate con i rollout di Ctrl-World mostrano guadagni misurabili su robot reali.
  • Il modello del mondo gestisce interazioni a più passaggi con una coerenza che i precedenti modelli generativi non hanno.
  • Compatibile con policy VLA generaliste già pronte: per la compatibilità non è richiesto alcun riaddestramento della policy.

Limiti

  • Ambito da articolo di workshop: la diversità di oggetti e compiti è limitata dai dati di addestramento.
  • I modelli del mondo generativi hanno ancora allucinazioni sulla fisica fine; gli eventi di contatto rari sono i più difficili.
  • Per scene avversarie o fuori distribuzione persiste un divario di fedeltà della valutazione rispetto ai rollout nel mondo reale.

Impatto sul settore

Ctrl-World è tra i primi modelli del mondo generativi davvero utilizzabili come base per il miglioramento delle policy e non solo come strumento di valutazione. Si somma alla linea di ricerca sui VLA: ogni modello del mondo controllabile rende possibili sia una valutazione più rapida sia un miglioramento basato su dati sintetici per le policy a cui viene abbinato.

Abstract

Le policy robotiche generaliste sanno ora eseguire un'ampia gamma di abilità di manipolazione, ma valutarne e migliorarne la capacità con oggetti e istruzioni sconosciuti resta una sfida significativa. Una valutazione rigorosa richiede un gran numero di rollout nel mondo reale, mentre un miglioramento sistematico richiede nuovi dati di addestramento. Proponiamo Ctrl-World, un modello del mondo generativo controllabile che simula l'interazione tra robot e ambiente, consentendo sia una valutazione efficiente delle policy sia la generazione di dati sintetici per il loro miglioramento.

Link

  • arXiv 2510.10125: https://arxiv.org/abs/2510.10125
  • DOI 10.48550/arXiv.2510.10125: https://doi.org/10.48550/arXiv.2510.10125
  • PDF: https://arxiv.org/pdf/2510.10125
  • Pagina del progetto: https://openreview.net/forum?id=v7hqqBLosx

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.