DreamZero

将来の映像とロボットの行動を同時に予測する NVIDIA のワールドアクションモデル

ライセンス

Apache-2.0

概要

事前学習済み映像拡散バックボーンを使用して将来の映像フレームとロボット動作を共同予測するNVIDIA 14Bパラメータワールドアクションモデル。未見のタスクへのゼロショット汎化と、わずか30分のデータで新しいロボットエンボディメントへの少数ショット適応を達成します。自己回帰映像拡散アーキテクチャに基づいて構築され、DreamZeroは最先端のビジョン言語動作モデルと比較して汎化において2倍以上の改善を提供します。

DreamZeroは、事前学習済み映像拡散バックボーンを使用して将来の世界状態とロボット動作を共同予測するNVIDIA Researchのワールドアクションモデル（WAM）です。観測を動作に直接マッピングする従来のビジョン言語動作（VLA）モデルとは異なり、DreamZeroは環境がどのように進化するかの密な表現として映像を活用し、未見のタスクと環境への強力なゼロショット汎化を可能にします。

主な結果には、AgiBotデータセット（62.2% vs 27.4%のタスク進捗）とDROIDデータセット（未見の動詞で49% vs 25-32%）の両方で、最先端のVLAと比較して未見のタスクで2倍以上の改善が含まれます。モデルはDiTキャッシング最適化により7Hzでリアルタイムクローズドループ制御を達成し、GB200で約0.6秒、H100 GPUで約3秒の推論時間を実現します。

DreamZeroはまた、わずか30分のテレオペレーションデータでYAMロボットに適応し、ベースラインと比較して42%の改善を達成するクロスエンボディメント転移を示しています。14Bパラメータモデルは、WebSocket経由での分散マルチGPU推論をサポートし、Apache 2.0ライセンスの下でリリースされています。

重要な理由

NVIDIAのDreamZeroは、事前学習済みの動画拡散モデルをロボティクス向けの世界モデルとして転用できることを示しています。将来の動画フレームとロボットの行動の両方を同時に予測し、学習したことのないタスクへのゼロショット汎化を実現します。

解決する課題

ロボットのポリシーを学習させるには、タスクごとに高価な実世界デモンストレーションが必要です。DreamZeroは、物理世界のダイナミクスをすでに理解している事前学習済み動画モデルを活用し、タスク固有の学習データなしでロボットが新しいタスクをゼロショットで実行できるようにします。

主なポイント

事前学習済み動画拡散バックボーン上に構築された14BパラメータのWorld Action Model
統一モデルの中で将来の動画フレームとロボットの行動を同時に予測
未知のマニピュレーションタスクへのゼロショット汎化を実現
インターネット規模の動画事前学習を活用して物理世界を理解
動画生成モデルとロボット制御の間のギャップを埋める

対象

世界モデルの研究者
Video-to-Actionモデルの開発者
NVIDIAエコシステムの研究者
ロボットポリシーのゼロショット転移を探求するチーム

制限事項

14Bパラメータには相当なGPUリソースが必要
ゼロショット性能はタスク固有のファインチューニングに及ばない場合がある
動画事前学習データの分布に大きく依存する
比較的新しい手法であり、実世界での検証は限られている