Cosmos Predict 2.5
以影片進行世界模擬的 NVIDIA 實體 AI 世界基礎模型
授權條款
Apache-2.0
概述
NVIDIA Cosmos 實體 AI 世界基礎模型:以影片形式模擬並預測世界的未來狀態。在單一模型中統一 Text2World、Image2World 與 Video2World 生成。建構於以 flow 為基礎的架構之上,並採用以強化學習為基礎的後訓練。
Cosmos-Predict2.5 是 NVIDIA 實體 AI 世界基礎模型(Cosmos World Foundation Models, WFMs)的最新一代。它專精於透過影片生成來模擬與預測世界的未來狀態。
這個模型建構於以 flow 為基礎的架構之上,在單一模型中統一了三項關鍵能力: - Text2World:從文字描述生成影片 - Image2World:從單張影像生成接續的影片 - Video2World:從影片輸入預測未來的影格
它以 2 億段經過篩選的影片片段訓練,並以基於強化學習的後訓練加以精煉,在影片品質與指令對齊方面都比先前版本有大幅提升。
這個模型已被 Figure AI、Agility Robotics、Skild AI 與 Uber 等領先的機器人與自動駕駛公司採用,用於生成合成訓練資料與建構客製的世界模型。
為何重要
Cosmos Predict 2.5 是 NVIDIA 的 Cosmos 世界基礎模型之一,能以影片模擬並預測實體環境的未來狀態。這項能力對機器人規劃、自動駕駛模擬,以及大規模生成合成訓練資料都至關重要。
解決的問題
機器人與自主系統需要預測實體世界接下來會發生什麼。Cosmos Predict 2.5 提供一個能生成合理未來情境的基礎模型,有助於更好的規劃與更安全的決策。
重點
- 統一 Text2World、Image2World 與 Video2World 生成
- 以影片形式生成符合物理常理的未來預測
- 以大規模影片資料集預訓練,以理解物理世界
- 支援自動駕駛、機器人與合成資料等應用
- 屬於 NVIDIA 用於實體 AI 開發的 Cosmos 平台
適用對象
- 建構世界模型的實體 AI 研究人員
- 生成模擬情境的自動駕駛團隊
- 製作合成訓練資料的機器人公司
- 探索以影片預測進行規劃的開發者
限制
- 模型非常大,需要大量 GPU 資源
- 生成的預測看似合理,但不保證在物理上準確
- 影片生成品質取決於訓練領域的涵蓋範圍
- 商業使用可能需要與 NVIDIA 簽訂授權協議