DreamZero
NVIDIA 世界动作模型，可联合预测未来视频和机器人动作
许可证
Apache-2.0
概述
NVIDIA 14B参数世界动作模型,使用预训练的视频扩散骨干网络联合预测未来视频帧和机器人动作。实现对未见任务的零样本泛化,以及仅需30分钟数据即可适应新机器人实体的少样本适应。基于自回归视频扩散架构构建,DreamZero在泛化方面比最先进的视觉-语言-动作模型提高了2倍以上。
DreamZero是NVIDIA研究院的世界动作模型(WAM),使用预训练的视频扩散骨干网络联合预测未来世界状态和机器人动作。与将观察直接映射到动作的传统视觉-语言-动作(VLA)模型不同,DreamZero利用视频作为环境演化的密集表示,实现对未见任务和环境的强大零样本泛化。
关键结果包括在AgiBot数据集(62.2% vs 27.4%的任务进度)和DROID数据集(在未见动词上49% vs 25-32%)上,在未见任务上比最先进的VLA提高了2倍以上。该模型通过DiT缓存优化实现7Hz的实时闭环控制,在GB200上推理时间约0.6秒,在H100 GPU上约3秒。
DreamZero还展示了跨具身迁移,仅使用30分钟的遥操作数据就适应了YAM机器人,比基线提高了42%。这个14B参数模型通过WebSocket支持分布式多GPU推理,并在Apache 2.0许可下发布。
为何重要
NVIDIA 的 DreamZero 证明，预训练的视频扩散模型可以被重新用作机器人领域的世界模型。它同时预测未来视频帧以及机器人动作，在从未训练过的任务上实现零样本泛化。
解决的问题
训练机器人策略需要为每项任务采集昂贵的真实世界示教数据。DreamZero 利用已经理解物理世界动力学的预训练视频模型，使机器人无需特定任务的训练数据即可零样本执行新任务。
要点
- 基于预训练视频扩散骨干网络构建的 14B 参数 World Action Model
- 在统一模型中联合预测未来视频帧和机器人动作
- 在未见过的操作任务上实现零样本泛化
- 利用互联网规模的视频预训练来理解物理世界
- 弥合视频生成模型与机器人控制之间的鸿沟
适用人群
- 世界模型研究人员
- 视频到动作模型的开发者
- NVIDIA 生态的研究人员
- 探索零样本机器人策略迁移的团队
局限
- 14B 参数需要大量 GPU 资源
- 零样本性能可能不及针对特定任务的微调
- 严重依赖视频预训练数据的分布
- 方法相对较新，真实世界验证有限