DreamZero

World Action Model da NVIDIA que prevê em conjunto o vídeo futuro e as ações do robô

Licença

Apache-2.0

Visão geral

Modelo de Ação Mundial NVIDIA de 14B parâmetros que prevê conjuntamente frames de vídeo futuros e ações de robô usando um backbone de difusão de vídeo pré-treinado. Alcança generalização zero-shot para tarefas não vistas e adaptação few-shot para novos embodiments de robô com apenas 30 minutos de dados. Construído em uma arquitetura de difusão de vídeo autorregressiva, DreamZero entrega mais de 2x de melhoria na generalização comparado a modelos de visão-linguagem-ação de última geração.

DreamZero é um Modelo de Ação Mundial (WAM) da NVIDIA Research que usa um backbone de difusão de vídeo pré-treinado para prever conjuntamente estados futuros do mundo e ações de robô. Ao contrário de modelos de visão-linguagem-ação (VLA) convencionais que mapeiam observações diretamente para ações, DreamZero aproveita vídeo como uma representação densa de como ambientes evoluem, permitindo forte generalização zero-shot para tarefas e ambientes não vistos.

Resultados chave incluem mais de 2x de melhoria em tarefas não vistas comparado a VLAs de última geração tanto no dataset AgiBot (62,2% vs 27,4% de progresso de tarefa) quanto no dataset DROID (49% vs 25-32% em verbos não vistos). O modelo alcança controle em loop fechado em tempo real a 7Hz através de otimizações de cache DiT, com tempos de inferência de ≈0,6s em GB200 e ≈3s em GPUs H100.

DreamZero também demonstra transferência cross-embodiment, adaptando-se ao robô YAM com apenas 30 minutos de dados de teleoperação, alcançando 42% de melhoria sobre baselines. O modelo de 14B parâmetros suporta inferência multi-GPU distribuída via WebSocket e é liberado sob licença Apache 2.0.

Por que importa

O DreamZero, da NVIDIA, demonstra que um modelo de difusão de vídeo pré-treinado pode ser reaproveitado como modelo de mundo (world model) para a robótica. Ele prevê conjuntamente os quadros de vídeo futuros E as ações do robô, alcançando generalização zero-shot para tarefas nas quais nunca foi treinado.

Problema que resolve

Treinar políticas robóticas exige demonstrações caras no mundo real para cada tarefa. O DreamZero aproveita modelos de vídeo pré-treinados que já entendem a dinâmica do mundo físico, permitindo que robôs executem novas tarefas zero-shot sem dados de treinamento específicos da tarefa.

Pontos principais

• World Action Model com 14B de parâmetros construído sobre um backbone de difusão de vídeo pré-treinado
• Prevê conjuntamente quadros de vídeo futuros e ações do robô em um modelo unificado
• Alcança generalização zero-shot para tarefas de manipulação não vistas
• Aproveita pré-treinamento em vídeo em escala de internet para compreender o mundo físico
• Preenche a lacuna entre modelos de geração de vídeo e controle de robôs

Para quem é

• Pesquisadores de modelos de mundo
• Desenvolvedores de modelos de vídeo para ação
• Pesquisadores do ecossistema NVIDIA
• Equipes explorando a transferência zero-shot de políticas robóticas

Limitações

• Os 14B de parâmetros exigem recursos de GPU substanciais
• O desempenho zero-shot pode não igualar o do fine-tuning específico da tarefa
• Depende fortemente da distribuição do pré-treinamento em vídeo
• Abordagem relativamente nova, com validação limitada no mundo real