NVIDIA Cosmos 3
NVIDIA 開放的世界模型:能推理、生成影片並預測機器人動作
授權條款
OpenMDW 1.1
程式碼與權重:OpenMDW-1.1,依據 NVIDIA/cosmos 與 NVIDIA/cosmos-framework 的 LICENSE 檔案,以及此處列出的每張模型卡;GitHub 顯示 NOASSERTION 只是因為它無法辨識這個授權。它允許使用、修改與再散布,包括商業用途,前提是保留授權文字與聲明;它不限制輸出,而任何人一旦提告主張該模型侵害專利或著作權,其權利即告終止。模型卡表示這些模型可供商業與非商業使用。Guardrail:影片生成的快速入門需要 nvidia/Cosmos-1.0-Guardrail,它在 Hugging Face 上存取受限,並採用 NVIDIA Open Model License。資料集:NVIDIA 以 OpenMDW-1.1 發布其 Cosmos3-DROID 轉換版本;原始 DROID 資料來自其作者,因此也請查看他們的條款。LeRobot:LeRobot 中這些策略的程式碼採用 Apache-2.0。已於 2026-11-11 對照 LICENSE 檔案、Hugging Face 上的模型卡與資料集卡,以及 openmdw.ai 核對。
概述
NVIDIA Cosmos 3 是 NVIDIA 目前針對實體 AI 的開放世界模型系列,於 2026 年 5 月 31 日發表。單一模型就能讀寫文字、影像、影片、聲音與機器人動作,因此同一組權重可以描述場景、生成接下來會發生的影片、模擬某個動作的效果、推斷是哪個動作造成了變化,並作為機器人策略。先前的 Cosmos 版本把這些工作分給 Cosmos Predict、Cosmos Transfer 與 Cosmos Reason 等獨立模型。它有三種基礎規模:適用 Jetson 與其他邊緣裝置的 4B 參數 Cosmos3-Edge、適用單張大型 GPU 的 16B Cosmos3-Nano,以及適用資料中心 GPU 的 64B Cosmos3-Super。NVIDIA 也發布了用於機器人策略、駕駛與機器人模擬,以及快速影像與影片生成的後訓練範例檢查點,用於訓練與部署的 Cosmos Framework,以及一本配方 cookbook。程式碼與權重採用允許商業使用的 OpenMDW-1.1;LeRobot 0.7 於 2026 年 11 月將 Nano 與 Edge 加入為機器人策略。
NVIDIA 於 2026 年 5 月 31 日發表 Cosmos 3,權重見 Hugging Face 合集,程式碼見 GitHub,另有技術報告(arXiv 2606.02800)。NVIDIA/cosmos 儲存庫是該系列主頁,列出所有模型與配方,稱 Cosmos 3 為目前模型系列。
Cosmos 3 是世界模型:學習場景隨時間的變化,故能預測並生成後續情形。NVIDIA 稱其為全模態,因為單一模型即可輸入與輸出文字、影像、影片、音訊與動作;架構為 Mixture-of-Transformers。簡言之,每層有兩組權重,共用一個注意力步驟。推理器讀文字與影像,逐個 token 寫出文字,就像視覺語言模型(Vision-Language Model)。生成器以逐步去噪產生影像、影片、聲音與動作,如影片擴散模型。兩者同在一個網路,模型便可先用文字規劃,再生成相應影片或動作。
三個基礎模型已開放:
- Cosmos3-Edge,4B 參數,於 2026 年 7 月 20 日發表,適用 Jetson AGX Orin、Jetson Thor 與 RTX Pro 6000;可生成 256p 與 480p 影片、推理場景並輸出動作,但無聲音與轉換模式。 - Cosmos3-Nano,16B 參數,單張 RTX Pro 6000、H100 或 B200 即可執行;NVIDIA 定位為後訓練基礎模型。 - Cosmos3-Super,64B 參數,適用 H200、B200 與 GB200 系統,用於最高品質輸出、合成資料及蒸餾教師模型。
三者共同涵蓋文生圖、文生影片與圖生影片(可附聲音)、基於邊緣、模糊、深度或分割圖的影片轉換、預測影片後續幾秒、視覺問答與定位、正向動力學(動作之後的影片)、逆向動力學(影片背後的動作)及機器人策略。動作端支援攝影機運動、汽車、第一人稱手部姿態、單臂與雙臂機器人及 AgiBot 人形機器人。
cosmos3-examples 合集收錄後訓練檢查點。Cosmos3-Nano-Policy-DROID 與 Cosmos3-Edge-Policy-DROID 是 DROID 平台 Franka 機械手臂的機器人策略,以 Cosmos3-DROID(NVIDIA 轉為 LeRobot 資料集格式的 DROID)訓練。自 2026 年 10 月起,四個模擬檢查點把 Nano 變成互動式模擬器,可生成含光達(LiDAR)的多攝影機駕駛影片、雙臂機器人動作時的視角,或由模擬器的深度或分割輸出產生擬真影片。Super 有文生圖與圖生影片的 4 步學生模型,Nano 與 Super 另有 FP8 版。
Cosmos Framework 用於訓練與部署:監督微調、LoRA、蒸餾與強化學習,推論支援 Diffusers、Transformers、vLLM、vLLM-Omni 與 SGLang;NVIDIA 也列出 TensorRT-LLM 與 NIM。Cosmos cookbook 依目標與 GPU 預算劃分配方。自 LeRobot 0.7(2026 年 11 月 5 日)起,Nano 與 Edge 成為 LeRobot 策略類型:LeRobot 指南說明策略如何同時預測後續畫格與下一段動作,並提供 LIBERO、DROID 與新機器人的微調配方。
NVIDIA Alpamayo 2 駕駛模型以 Cosmos 3 為骨幹。
為何重要
Cosmos 3 是 NVIDIA Cosmos 模型的最新一代;我們已收錄的有影片世界模型 Cosmos Predict 2.5,以及把 Cosmos 影片模型後訓練成機器人策略的 Cosmos Policy。過去預測、轉換、推理與策略需要各自獨立的模型,NVIDIA 則把 Cosmos 3 描述為取代它們的單一模型,團隊可以用同一組權重進行推理、模擬與執行動作,只需後訓練一個基礎模型而不是好幾個。它也是少數同時是影片生成器與機器人策略的開放基礎模型之一:和 NVIDIA Isaac GR00T 一樣,它可以微調成 VLA 式的控制器,但會在輸出動作的同時預測未來的影片。有了 4B 的 Cosmos3-Edge 與 LeRobot 整合,一張 GPU 就能微調策略,NVIDIA 也表示它能在 Jetson Thor 上執行,讓以世界模型為基礎的策略不再只屬於資料中心,研究實驗室也用得上。
解決的問題
打造機器人與車輛的團隊需要能理解場景、生成訓練與測試資料、模擬某個動作的結果並控制機器的模型,而到目前為止,這代表多個獨立模型與各自的訓練程式碼。從零訓練這類模型所需的影片資料與運算資源,很少團隊具備。Cosmos 3 發布了一個能完成所有這些工作的開放模型系列,提供從邊緣裝置到資料中心 GPU 的三種規模,並附上程式碼與配方,讓團隊用自己的機器人、車輛或攝影機資料進行後訓練。
重點
- 單一全模態模型就能讀寫文字、影像、影片、聲音與機器人動作
- 三種開放的基礎規模:Cosmos3-Edge 4B、Cosmos3-Nano 16B 與 Cosmos3-Super 64B
- 把先前 Cosmos 分散在 Predict、Transfer 與 Reason 模型中的工作整合為一
- 後訓練範例涵蓋 DROID 機器人策略、駕駛與機器人模擬,以及快速生成
- LeRobot 0.7 將 Nano 與 Edge 作為機器人策略執行,並提供 LIBERO 與 DROID 配方
- 程式碼與權重採用允許商業使用的 OpenMDW-1.1
適用對象
- 想後訓練以世界模型為基礎之策略或模擬器的機器人學習研究人員
- 需要生成合成或多攝影機訓練資料的自動駕駛與機器人團隊
- 在 Jetson 與其他邊緣裝置上部署視覺推理或機器人策略的開發者
- 想用自家機器人資料微調世界動作模型的 LeRobot 使用者
限制
- 除了 Edge 之外都需要大型 GPU:Nano 的後訓練配方以 8 張 GPU 設計,NVIDIA 建議的 Super 部署配置使用 8 張資料中心 GPU,在 LeRobot 中對 Nano 做完整微調至少需要 4 張 80 GB 的 GPU
- Edge 在 Jetson 上遠比在資料中心 GPU 上慢:NVIDIA 測得在 Jetson AGX Thor 上每個 DROID 策略步驟約 6.3 s,在 H100 上則約 1.4 s
- 快速入門的影片生成需要存取受限的 Cosmos-1.0-Guardrail 模型,它採用 NVIDIA Open Model License,而不是 OpenMDW-1.1
- NVIDIA 指出,在較長、高解析度或物理上複雜的輸出中會出現瑕疵,例如物體變形與不合理的動作,並表示安全關鍵用途需要更多驗證
- 基準排名、策略成功率與速度數據都是 NVIDIA 與 LeRobot 自己的量測結果
- LeRobot 整合是新功能,隨 2026 年 11 月 5 日的 LeRobot 0.7 發表
- 模型卡上只測試過 BF16;除了已發布的 FP8 檢查點,其他精度不受官方支援
- Cosmos3-DROID 是 NVIDIA 對 DROID 資料集的轉換版本;DROID 由 13 個機構蒐集,在源頭有自己的條款