DreamZero

NVIDIA 的世界動作模型，可聯合預測未來影片與機器人動作

授權條款

Apache-2.0

概述

NVIDIA 的 14B 參數世界動作模型（World Action Model），使用預訓練的影片擴散骨幹，同時預測未來的影片影格與機器人動作。它能零樣本泛化到未見過的任務，並只需 30 分鐘的資料，就能少樣本適應新的機器人形態。DreamZero 建構在自迴歸影片擴散架構之上，相較於最先進的視覺-語言-動作（VLA）模型，泛化能力提升超過 2 倍。

DreamZero 是 NVIDIA Research 推出的世界動作模型（WAM），使用預訓練的影片擴散骨幹，同時預測未來的世界狀態與機器人動作。傳統的視覺-語言-動作（VLA）模型直接將觀測映射到動作；DreamZero 則不同，它利用影片作為環境如何演變的密集表示，讓模型能對未見過的任務與環境展現強大的零樣本泛化能力。

主要成果包括：在 AgiBot 資料集（任務進度 62.2% 對 27.4%）與 DROID 資料集（未見過的動詞上 49% 對 25-32%）上，未見任務的表現都比最先進的 VLA 提升超過 2 倍。透過 DiT 快取最佳化，模型能以 7Hz 進行即時閉迴路控制，推論時間在 GB200 上約 ≈0.6s，在 H100 GPU 上約 ≈3s。

DreamZero 也展示了跨形態遷移：只用 30 分鐘的遠端操作資料就能適應 YAM 機器人，比基準方法提升 42%。這個 14B 參數模型支援透過 WebSocket 進行分散式多 GPU 推論，並以 Apache 2.0 授權釋出。

為何重要

NVIDIA 的 DreamZero 證明，預訓練的影片擴散模型可以重新用作機器人的世界模型。它同時預測未來的影片影格「與」機器人動作，能零樣本泛化到從未訓練過的任務上。

解決的問題

訓練機器人策略，需要為每項任務準備昂貴的真實世界示範。DreamZero 利用已經理解物理世界動態的預訓練影片模型，讓機器人不需針對任務的訓練資料，就能以零樣本方式執行新任務。

重點

• 建構在預訓練影片擴散骨幹之上的 14B 參數世界動作模型
• 在統一的模型中同時預測未來的影片影格與機器人動作
• 能零樣本泛化到未見過的操作任務
• 利用網際網路規模的影片預訓練來理解物理世界
• 彌合影片生成模型與機器人控制之間的落差

適用對象

• 世界模型研究人員
• 影片到動作模型的開發者
• NVIDIA 生態系的研究人員
• 探索零樣本機器人策略遷移的團隊

限制

• 14B 參數需要大量的 GPU 資源
• 零樣本效能未必比得上針對任務的微調
• 高度依賴影片預訓練資料的分布
• 相對較新的方法，真實世界的驗證有限