DreamZero

NVIDIA World Action Model, das zukünftiges Video und Roboteraktionen gemeinsam vorhersagt

Lizenz

Apache-2.0

Überblick

NVIDIA 14B-Parameter World Action Model, das gemeinsam zukünftige Video-Frames und Roboter-Aktionen unter Verwendung eines vortrainierten Video-Diffusions-Backbones vorhersagt. Erreicht Zero-Shot-Generalisierung auf ungesehene Aufgaben und Few-Shot-Anpassung an neue Roboter-Embodiments mit nur 30 Minuten Daten. Basierend auf einer autoregressiven Video-Diffusions-Architektur liefert DreamZero über 2x Verbesserung bei der Generalisierung im Vergleich zu State-of-the-Art Vision-Language-Action-Modellen.

DreamZero ist ein World Action Model (WAM) von NVIDIA Research, das ein vortrainiertes Video-Diffusions-Backbone verwendet, um gemeinsam zukünftige Weltzustände und Roboter-Aktionen vorherzusagen. Im Gegensatz zu konventionellen Vision-Language-Action (VLA)-Modellen, die Beobachtungen direkt auf Aktionen abbilden, nutzt DreamZero Video als dichte Darstellung, wie sich Umgebungen entwickeln, was starke Zero-Shot-Generalisierung auf ungesehene Aufgaben und Umgebungen ermöglicht.

Schlüsselergebnisse umfassen über 2x Verbesserung bei ungesehenen Aufgaben im Vergleich zu State-of-the-Art VLAs sowohl beim AgiBot-Datensatz (62,2% vs 27,4% Aufgabenfortschritt) als auch beim DROID-Datensatz (49% vs 25-32% bei ungesehenen Verben). Das Modell erreicht Echtzeit-Closed-Loop-Steuerung bei 7Hz durch DiT-Caching-Optimierungen mit Inferenzzeiten von ≈0,6s auf GB200 und ≈3s auf H100-GPUs.

DreamZero demonstriert auch Cross-Embodiment-Transfer und passt sich an den YAM-Roboter mit nur 30 Minuten Teleoperations-Daten an, wobei eine 42%ige Verbesserung gegenüber Baselines erreicht wird. Das 14B-Parameter-Modell unterstützt verteilte Multi-GPU-Inferenz über WebSocket und wird unter der Apache 2.0-Lizenz veröffentlicht.

Warum es wichtig ist

DreamZero von NVIDIA zeigt, dass ein vortrainiertes Video-Diffusionsmodell als World Model für die Robotik umfunktioniert werden kann. Es sagt zukünftige Videoframes UND Roboteraktionen gemeinsam vorher und erreicht Zero-Shot-Generalisierung auf Aufgaben, für die es nie trainiert wurde.

Welches Problem es löst

Das Training von Roboter-Policies erfordert für jede Aufgabe teure Demonstrationen in der realen Welt. DreamZero nutzt vortrainierte Videomodelle, die die Dynamik der physischen Welt bereits verstehen, und ermöglicht Robotern so, neue Aufgaben zero-shot ohne aufgabenspezifische Trainingsdaten auszuführen.

Wichtigste Punkte

• World Action Model mit 14B Parametern auf Basis eines vortrainierten Video-Diffusions-Backbones
• Sagt zukünftige Videoframes und Roboteraktionen gemeinsam in einem einheitlichen Modell vorher
• Erreicht Zero-Shot-Generalisierung auf unbekannte Manipulationsaufgaben
• Nutzt Video-Pretraining im Internetmaßstab für das Verständnis der physischen Welt
• Schließt die Lücke zwischen Videogenerierungsmodellen und Robotersteuerung

Für wen

• Forschende im Bereich World Models
• Entwickler von Video-to-Action-Modellen
• Forschende im NVIDIA-Ökosystem
• Teams, die den Zero-Shot-Transfer von Roboter-Policies erforschen

Einschränkungen

• 14B Parameter erfordern erhebliche GPU-Ressourcen
• Die Zero-Shot-Leistung erreicht möglicherweise nicht das Niveau von aufgabenspezifischem Fine-Tuning
• Stark abhängig von der Verteilung der Video-Pretraining-Daten
• Relativ neuer Ansatz mit begrenzter Validierung in der realen Welt