DreamZero

World Action Model de NVIDIA qui prédit conjointement la vidéo future et les actions du robot

Licence

Apache-2.0

Aperçu

Modèle d'Action Mondiale NVIDIA à 14B paramètres qui prédit conjointement images vidéo futures et actions robotiques utilisant un backbone de diffusion vidéo pré-entraîné. Atteint généralisation zéro-shot vers tâches non vues et adaptation few-shot vers nouvelles incarnations robotiques avec aussi peu que 30 minutes de données. Construit sur une architecture de diffusion vidéo autorégressive, DreamZero offre une amélioration de plus de 2x en généralisation comparé aux modèles vision-langage-action de pointe.

DreamZero est un Modèle d'Action Mondiale (WAM) de NVIDIA Research qui utilise un backbone de diffusion vidéo pré-entraîné pour prédire conjointement états mondiaux futurs et actions robotiques. Contrairement aux modèles vision-langage-action (VLA) conventionnels qui mappent observations directement vers actions, DreamZero exploite la vidéo comme représentation dense de l'évolution des environnements, permettant forte généralisation zéro-shot vers tâches et environnements non vus.

Les résultats clés incluent amélioration de plus de 2x sur tâches non vues comparé aux VLAs de pointe à la fois sur l'ensemble de données AgiBot (62,2% vs 27,4% progrès de tâche) et ensemble de données DROID (49% vs 25-32% sur verbes non vus). Le modèle atteint contrôle en boucle fermée temps réel à 7Hz grâce aux optimisations de cache DiT, avec temps d'inférence de ≈0,6s sur GB200 et ≈3s sur GPUs H100.

DreamZero démontre également transfert cross-embodiment, s'adaptant au robot YAM avec seulement 30 minutes de données de téleopération, atteignant amélioration de 42% par rapport aux baselines. Le modèle à 14B paramètres supporte inférence distribuée multi-GPU via WebSocket et est publié sous licence Apache 2.0.

Pourquoi c'est important

DreamZero, de NVIDIA, démontre qu'un modèle de diffusion vidéo pré-entraîné peut être réutilisé comme modèle du monde (world model) pour la robotique. Il prédit conjointement les futures images vidéo ET les actions du robot, atteignant une généralisation zero-shot à des tâches pour lesquelles il n'a jamais été entraîné.

Le problème résolu

L'entraînement de politiques robotiques nécessite des démonstrations coûteuses en conditions réelles pour chaque tâche. DreamZero exploite des modèles vidéo pré-entraînés qui comprennent déjà la dynamique du monde physique, permettant aux robots d'exécuter de nouvelles tâches en zero-shot sans données d'entraînement spécifiques à la tâche.

Points clés

• World Action Model de 14B de paramètres construit sur un backbone de diffusion vidéo pré-entraîné
• Prédit conjointement les futures images vidéo et les actions du robot dans un modèle unifié
• Atteint une généralisation zero-shot à des tâches de manipulation inédites
• Exploite un pré-entraînement vidéo à l'échelle d'Internet pour la compréhension du monde physique
• Comble le fossé entre les modèles de génération vidéo et la commande de robots

Pour qui

• Chercheurs en modèles du monde
• Développeurs de modèles vidéo-vers-action
• Chercheurs de l'écosystème NVIDIA
• Équipes qui explorent le transfert zero-shot de politiques robotiques

Limites

• Les 14B de paramètres exigent d'importantes ressources GPU
• Les performances en zero-shot peuvent ne pas égaler celles d'un fine-tuning spécifique à la tâche
• Dépend fortement de la distribution des données de pré-entraînement vidéo
• Approche relativement récente avec une validation limitée en conditions réelles