Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Cosmos Predict 2.5

以影片進行世界模擬的 NVIDIA 實體 AI 世界基礎模型

授權條款

Apache-2.0

概述

NVIDIA Cosmos 實體 AI 世界基礎模型:以影片形式模擬並預測世界的未來狀態。在單一模型中統一 Text2World、Image2World 與 Video2World 生成。建構於以 flow 為基礎的架構之上,並採用以強化學習為基礎的後訓練。

Cosmos-Predict2.5 是 NVIDIA 實體 AI 世界基礎模型(Cosmos World Foundation Models, WFMs)的最新一代。它專精於透過影片生成來模擬與預測世界的未來狀態。

這個模型建構於以 flow 為基礎的架構之上,在單一模型中統一了三項關鍵能力: - Text2World:從文字描述生成影片 - Image2World:從單張影像生成接續的影片 - Video2World:從影片輸入預測未來的影格

它以 2 億段經過篩選的影片片段訓練,並以基於強化學習的後訓練加以精煉,在影片品質與指令對齊方面都比先前版本有大幅提升。

這個模型已被 Figure AI、Agility Robotics、Skild AI 與 Uber 等領先的機器人與自動駕駛公司採用,用於生成合成訓練資料與建構客製的世界模型。

為何重要

Cosmos Predict 2.5 是 NVIDIA 的 Cosmos 世界基礎模型之一,能以影片模擬並預測實體環境的未來狀態。這項能力對機器人規劃、自動駕駛模擬,以及大規模生成合成訓練資料都至關重要。

解決的問題

機器人與自主系統需要預測實體世界接下來會發生什麼。Cosmos Predict 2.5 提供一個能生成合理未來情境的基礎模型,有助於更好的規劃與更安全的決策。

重點

  • 統一 Text2World、Image2World 與 Video2World 生成
  • 以影片形式生成符合物理常理的未來預測
  • 以大規模影片資料集預訓練,以理解物理世界
  • 支援自動駕駛、機器人與合成資料等應用
  • 屬於 NVIDIA 用於實體 AI 開發的 Cosmos 平台

適用對象

  • 建構世界模型的實體 AI 研究人員
  • 生成模擬情境的自動駕駛團隊
  • 製作合成訓練資料的機器人公司
  • 探索以影片預測進行規劃的開發者

限制

  • 模型非常大,需要大量 GPU 資源
  • 生成的預測看似合理,但不保證在物理上準確
  • 影片生成品質取決於訓練領域的涵蓋範圍
  • 商業使用可能需要與 NVIDIA 簽訂授權協議

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。