DreamZero

World Action Model de NVIDIA que predice conjuntamente vídeo futuro y acciones del robot

Licencia

Apache-2.0

Resumen

Modelo de Acción Mundial de 14B parámetros de NVIDIA que predice conjuntamente fotogramas de video futuros y acciones de robot usando un backbone de difusión de video preentrenado. Logra generalización de cero disparos a tareas no vistas y adaptación de pocos disparos a nuevas encarnaciones de robot con tan solo 30 minutos de datos. Construido sobre una arquitectura de difusión de video autoregresiva, DreamZero entrega más de 2x mejora en generalización comparado con modelos de visión-lenguaje-acción de última generación.

DreamZero es un Modelo de Acción Mundial (WAM) de NVIDIA Research que usa un backbone de difusión de video preentrenado para predecir conjuntamente estados mundiales futuros y acciones de robot. A diferencia de modelos convencionales de visión-lenguaje-acción (VLA) que mapean observaciones directamente a acciones, DreamZero aprovecha el video como una representación densa de cómo evolucionan los entornos, permitiendo fuerte generalización de cero disparos a tareas y entornos no vistos.

Los resultados clave incluyen más de 2x mejora en tareas no vistas comparado con VLAs de última generación tanto en el dataset AgiBot (62.2% vs 27.4% de progreso de tarea) como en el dataset DROID (49% vs 25-32% en verbos no vistos). El modelo logra control en bucle cerrado en tiempo real a 7Hz a través de optimizaciones de caché DiT, con tiempos de inferencia de ≈0.6s en GB200 y ≈3s en GPUs H100.

DreamZero también demuestra transferencia entre encarnaciones, adaptándose al robot YAM con solo 30 minutos de datos de teleoperación, logrando una mejora del 42% sobre líneas base. El modelo de 14B parámetros soporta inferencia distribuida multi-GPU mediante WebSocket y se lanza bajo la licencia Apache 2.0.

Por qué importa

DreamZero, de NVIDIA, demuestra que un modelo de difusión de vídeo preentrenado puede reutilizarse como modelo del mundo (world model) para la robótica. Predice de forma conjunta los fotogramas de vídeo futuros Y las acciones del robot, logrando una generalización zero-shot a tareas para las que nunca fue entrenado.

Qué problema resuelve

Entrenar políticas robóticas requiere costosas demostraciones en el mundo real para cada tarea. DreamZero aprovecha modelos de vídeo preentrenados que ya comprenden la dinámica del mundo físico, lo que permite a los robots realizar nuevas tareas zero-shot sin datos de entrenamiento específicos de la tarea.

Puntos clave

• World Action Model de 14B de parámetros construido sobre un backbone de difusión de vídeo preentrenado
• Predice conjuntamente los fotogramas de vídeo futuros y las acciones del robot en un modelo unificado
• Logra generalización zero-shot a tareas de manipulación no vistas
• Aprovecha el preentrenamiento con vídeo a escala de internet para comprender el mundo físico
• Cierra la brecha entre los modelos de generación de vídeo y el control de robots

Para quién es

• Investigadores de modelos del mundo
• Desarrolladores de modelos de vídeo a acción
• Investigadores del ecosistema de NVIDIA
• Equipos que exploran la transferencia zero-shot de políticas robóticas

Limitaciones

• Los 14B de parámetros requieren recursos de GPU considerables
• El rendimiento zero-shot puede no igualar al del fine-tuning específico de la tarea
• Depende en gran medida de la distribución del preentrenamiento con vídeo
• Enfoque relativamente nuevo con validación limitada en el mundo real