NVIDIA Cosmos 3
推論し、動画を生成し、ロボットの動作を予測する NVIDIA のオープンな世界モデル
ライセンス
OpenMDW 1.1
コードと重み:OpenMDW-1.1。NVIDIA/cosmos と NVIDIA/cosmos-framework の LICENSE ファイル、およびここに挙げた各モデルカードで確認しました。GitHub が NOASSERTION と表示するのは、このライセンスを認識できないためです。ライセンス文と表示を残せば、商用を含む利用、改変、再配布が認められ、出力には制限がありません。また、モデルが特許や著作権を侵害していると主張して訴訟を起こした者の権利は終了します。モデルカードには、商用と非商用の両方で利用できると書かれています。Guardrail:動画生成のクイックスタートには nvidia/Cosmos-1.0-Guardrail が必要で、これは Hugging Face でアクセスが制限され、NVIDIA Open Model License の下にあります。データセット:NVIDIA は変換版の Cosmos3-DROID を OpenMDW-1.1 で公開しています。元の DROID のデータはその作者のものなので、作者側の条件も確認してください。LeRobot:これらのポリシーの LeRobot のコードは Apache-2.0 です。2026-11-11 に LICENSE ファイル、Hugging Face のモデルカードとデータセットカード、openmdw.ai で確認しました。
概要
NVIDIA Cosmos 3 は、フィジカル AI 向けの NVIDIA の現行のオープンな世界モデルファミリーで、2026 年 5 月 31 日に公開されました。一つのモデルがテキスト、画像、動画、音声、ロボットの動作を読み書きするため、同じ重みでシーンを説明し、次に起こることを動画として生成し、動作の結果をシミュレーションし、変化を引き起こした動作を推定し、ロボットのポリシーとして動かすことができます。以前の Cosmos は、これらの役割を Cosmos Predict、Cosmos Transfer、Cosmos Reason などの別々のモデルに分けていました。ベースサイズは 三つで、Jetson などのエッジデバイス向けの 4B パラメータの Cosmos3-Edge、大型 GPU 一基向けの 16B の Cosmos3-Nano、データセンター GPU 向けの 64B の Cosmos3-Super です。NVIDIA はほかに、ロボットのポリシー、運転とロボットのシミュレーション、高速な画像・動画生成のための追加学習済みのサンプルチェックポイント、学習と配信のための Cosmos Framework、レシピ集の cookbook も公開しています。コードと重みは商用利用を認める OpenMDW-1.1 で、2026 年 11 月に LeRobot 0.7 が Nano と Edge をロボットのポリシーとして追加しました。
NVIDIA は 2026 年 5 月 31 日に Cosmos 3 を公開しました。重みは Hugging Face のコレクション、コードは GitHub にあり、技術レポート(arXiv 2606.02800)も出ています。NVIDIA/cosmos リポジトリがファミリーの拠点で、すべてのモデルを一覧にし、レシピへのリンクを載せ、Cosmos 3 を現行のモデルファミリーと呼んでいます。
Cosmos 3 は世界モデルです。シーンが時間とともにどう変わるかを学習するため、次に起こることを予測し、生成できます。NVIDIA がオムニモーダルと呼ぶのは、一つのモデルがテキスト、画像、動画、音声、動作を受け取り、生成するからで、構造は Mixture-of-Transformers(トランスフォーマーの混合)です。簡単に言えば、各層に 二組の重みがあり、一つのアテンションの処理を共有しています。推論側(reasoner)は、テキストと画像を読み、トークンを 一つずつ書き出してテキストを生成します。視覚言語モデルと同じ働きです。生成側(generator)は、ノイズを少しずつ取り除いて画像、動画、音声、動作を生成します。動画の拡散モデルと同じ働きです。両方が 一つのネットワークにあるので、モデルは言葉で計画を立ててから、それに合う動画や動作を生成できます。
三つのベースモデルが公開されています。
- Cosmos3-Edge:4B パラメータ。2026 年 7 月 20 日に Jetson AGX Orin、Jetson Thor、RTX Pro 6000 向けに公開されました。256p と 480p の動画を生成し、シーンを推論して動作を出力しますが、音声と変換(transfer)のモードはありません。 - Cosmos3-Nano:16B パラメータ。RTX Pro 6000、H100、B200 のいずれか 一基で動きます。NVIDIA は追加学習のベースモデルとして位置づけています。 - Cosmos3-Super:64B パラメータ。H200、B200、GB200 のシステム向けで、最高品質の出力、合成データ、蒸留の教師モデルに使われます。
三つ合わせて、テキストから画像、テキストから動画、画像から動画(音声付きも可)、エッジ・ぼかし・深度・セグメンテーションのマップからの動画変換、動画の続きの数秒の予測、画像についての質問応答とグラウンディング、順動力学(動作の後に続く動画)、逆動力学(動画の背後にある動作)、ロボットのポリシーをカバーします。動作の面では、カメラの動き、自動車、一人称視点の手の姿勢、単腕と双腕のロボット、AgiBot のヒューマノイドに対応しています。
cosmos3-examples コレクションには追加学習済みのチェックポイントが入っています。Cosmos3-Nano-Policy-DROID と Cosmos3-Edge-Policy-DROID は、DROID の環境の Franka アーム向けのロボットポリシーで、Cosmos3-DROID で学習されています。これは NVIDIA が DROID を LeRobot のデータセット形式に変換したものです。2026 年 10 月からは、四つのシミュレーション用チェックポイントが Nano を対話型シミュレーターに変え、LiDAR 付きの複数カメラの運転動画、双腕ロボットが動作している間の視点、シミュレーターの深度やセグメンテーション出力からのフォトリアルな動画を生成します。Super にはテキストから画像、画像から動画のための 4 ステップの生徒モデルがあり、Nano と Super には FP8 版もあります。
Cosmos Framework はモデルの学習と配信を担い、教師ありファインチューニング、LoRA、蒸留、強化学習に対応し、推論は Diffusers、Transformers、vLLM、vLLM-Omni、SGLang で行えます。NVIDIA は TensorRT-LLM と NIM も挙げています。Cosmos の cookbook はレシピを目的別と GPU の予算別に整理しています。2026 年 11 月 5 日の LeRobot 0.7 から、Nano と Edge は LeRobot のポリシー型になりました。LeRobot のガイドは、ポリシーが次の動画フレームと次の動作のまとまりを同時に予測する仕組みを説明し、LIBERO、DROID、新しいロボット向けのファインチューニングのレシピを載せています。
NVIDIA の運転モデル Alpamayo 2 は Cosmos 3 のバックボーンを基にしています。
重要な理由
Cosmos 3 は、私たちがすでに掲載している動画の世界モデル Cosmos Predict 2.5 と、Cosmos の動画モデルを追加学習してロボットのポリシーにする Cosmos Policy に続く、NVIDIA Cosmos の最新世代です。以前は予測、変換、推論、ポリシーに別々のモデルが必要でしたが、NVIDIA は Cosmos 3 をそれらに代わる 一つのモデルと説明しています。チームは同じ重みで推論、シミュレーション、動作を行い、複数ではなく 一つのベースを追加学習すれば済みます。また、動画生成器とロボットのポリシーを兼ねる数少ないオープンな基盤モデルの 一つでもあります。NVIDIA Isaac GR00T と同じく VLA 型の制御装置にファインチューニングできますが、動作と一緒に将来の動画も予測します。4B の Cosmos3-Edge と LeRobot との統合により、ポリシーを GPU 一基でファインチューニングでき、NVIDIA は Jetson Thor で動作すると報告しています。世界モデルに基づくポリシーが、データセンターだけでなく研究室でも手の届くものになります。
解決する課題
ロボットや車両を作るチームには、シーンを理解し、学習用とテスト用のデータを生成し、動作の結果をシミュレーションし、機械を制御するモデルが必要ですが、これまでは別々のモデルと別々の学習コードが必要でした。こうしたモデルをゼロから学習するには、ほとんどのグループが持たない量の動画データと計算資源が要ります。Cosmos 3 は、これらすべてをこなすオープンなモデルファミリーを、エッジデバイスからデータセンター GPU までの 三つのサイズで公開し、各チームが自分のロボット、車両、カメラのデータで追加学習するためのコードとレシピも付けています。
主なポイント
- 一つのオムニモーダルモデルがテキスト、画像、動画、音声、ロボットの動作を読み書きする
- オープンなベースサイズは 三つ:Cosmos3-Edge 4B、Cosmos3-Nano 16B、Cosmos3-Super 64B
- 以前の Cosmos が Predict、Transfer、Reason のモデルに分けていた役割をまとめる
- 追加学習済みのサンプルは DROID のロボットポリシー、運転とロボットのシミュレーション、高速生成をカバー
- LeRobot 0.7 が Nano と Edge をロボットのポリシーとして動かし、LIBERO と DROID のレシピを用意
- コードと重みは商用利用を認める OpenMDW-1.1
対象
- 世界モデルに基づくポリシーやシミュレーターを追加学習したいロボット学習の研究者
- 合成データや複数カメラの学習データを生成する自動運転とロボティクスのチーム
- Jetson などのエッジデバイスに視覚的推論やロボットのポリシーを載せる開発者
- 自分のロボットのデータで世界行動モデルをファインチューニングしたい LeRobot ユーザー
制限事項
- Edge 以外は大型 GPU が必要:Nano の追加学習レシピは 8 基の GPU 向けで、NVIDIA が推奨する Super の配信構成はデータセンター GPU 8 基を使い、LeRobot で Nano をフルにファインチューニングするには 80 GB の GPU が少なくとも 4 基必要
- Jetson 上の Edge はデータセンター GPU よりかなり遅い:NVIDIA の測定では、DROID ポリシーの 一ステップが Jetson AGX Thor で約 6.3 s、H100 で約 1.4 s
- クイックスタートの動画生成には、アクセス制限付きの Cosmos-1.0-Guardrail モデルが必要で、これは OpenMDW-1.1 ではなく NVIDIA Open Model License の下にある
- NVIDIA は、長い出力、高解像度の出力、物理的に複雑な出力で、物体の形が変わる、不自然な動きになるといったアーティファクトが出ることを挙げ、安全性が重要な用途ではさらに検証が必要だとしている
- ベンチマークの順位、ポリシーの成功率、速度の数値は NVIDIA と LeRobot 自身の測定
- LeRobot との統合は新しく、2026 年 11 月 5 日の LeRobot 0.7 で公開された
- モデルカードで検証されているのは BF16 のみで、公開済みの FP8 チェックポイント以外の精度は公式にはサポートされない
- Cosmos3-DROID は NVIDIA による DROID データセットの変換版で、DROID は 13 の機関が収集し、元のデータには独自の条件がある