DreamZero

World Action Model di NVIDIA che prevede insieme il video futuro e le azioni del robot

Licenza

Apache-2.0

Panoramica

World Action Model di NVIDIA da 14B parametri che prevede congiuntamente i frame video futuri e le azioni del robot usando un backbone di diffusione video preaddestrato. Ottiene una generalizzazione zero-shot a compiti mai visti e un adattamento few-shot a nuovi embodiment robotici con appena 30 minuti di dati. Basato su un'architettura di diffusione video autoregressiva, DreamZero offre un miglioramento della generalizzazione di oltre 2 volte rispetto ai modelli Vision-Language-Action allo stato dell'arte.

DreamZero è un World Action Model (WAM) di NVIDIA Research che usa un backbone di diffusione video preaddestrato per prevedere congiuntamente gli stati futuri del mondo e le azioni del robot. A differenza dei modelli Vision-Language-Action (VLA) convenzionali, che mappano le osservazioni direttamente in azioni, DreamZero sfrutta il video come rappresentazione densa di come evolvono gli ambienti, consentendo una forte generalizzazione zero-shot a compiti e ambienti mai visti.

Tra i risultati principali, un miglioramento di oltre 2 volte sui compiti mai visti rispetto ai VLA allo stato dell'arte, sia sul dataset AgiBot (62,2% contro 27,4% di avanzamento del compito) sia sul dataset DROID (49% contro 25-32% sui verbi mai visti). Il modello raggiunge un controllo in anello chiuso in tempo reale a 7 Hz grazie alle ottimizzazioni di caching del DiT, con tempi di inferenza di ≈0,6 s su GB200 e ≈3 s su GPU H100.

DreamZero dimostra anche il trasferimento cross-embodiment, adattandosi al robot YAM con soli 30 minuti di dati di teleoperazione e ottenendo un miglioramento del 42% rispetto ai modelli di riferimento. Il modello da 14B parametri supporta l'inferenza distribuita su più GPU tramite WebSocket ed è rilasciato con licenza Apache 2.0.

Perché è importante

DreamZero di NVIDIA dimostra che un modello di diffusione video preaddestrato può essere riutilizzato come modello del mondo per la robotica. Prevede congiuntamente i frame video futuri E le azioni del robot, ottenendo una generalizzazione zero-shot a compiti su cui non è mai stato addestrato.

Il problema che risolve

Addestrare le policy robotiche richiede costose dimostrazioni reali per ogni compito. DreamZero sfrutta modelli video preaddestrati che comprendono già la dinamica del mondo fisico, consentendo ai robot di eseguire nuovi compiti zero-shot senza dati di addestramento specifici per il compito.

Punti chiave

• World Action Model da 14B parametri basato su un backbone di diffusione video preaddestrato
• Prevede congiuntamente i frame video futuri e le azioni del robot in un modello unificato
• Ottiene una generalizzazione zero-shot a compiti di manipolazione mai visti
• Sfrutta il preaddestramento su video su scala internet per la comprensione del mondo fisico
• Colma il divario tra i modelli di generazione video e il controllo dei robot

A chi si rivolge

• Ricercatori sui modelli del mondo
• Sviluppatori di modelli video-azione
• Ricercatori dell'ecosistema NVIDIA
• Team che esplorano il trasferimento zero-shot delle policy robotiche

Limiti

• I 14B parametri richiedono notevoli risorse GPU
• Le prestazioni zero-shot potrebbero non eguagliare il fine-tuning specifico per il compito
• Dipende fortemente dalla distribuzione dei dati di preaddestramento video
• Approccio relativamente nuovo, con una convalida limitata nel mondo reale