Cosmos Policy
將影片預測模型微調成高效能機器人策略的框架
授權條款
Apache-2.0
概述
一套將大型預訓練影片模型(Cosmos-Predict2)微調成最先進機器人策略的框架。Cosmos Policy 學會在影片擴散過程中,直接生成以潛在影格編碼的機器人動作,並利用模型的預訓練先驗來捕捉複雜的動作分布。它也能產生未來狀態預測與價值估計,讓測試時規劃得以提高成功率。在 LIBERO 上達到 98.5%、在 RoboCasa 評測基準上達到 67.1%,勝過擴散策略、VLA 與其他以影片為基礎的方法。包含 ALOHA 雙臂操作的訓練流程、模擬環境,以及完整的評估工具。
Cosmos-Policy 是一套框架,透過在影片擴散生成過程中將機器人動作編碼為潛在影格,把大規模預訓練的影片預測模型(具體來說是 Cosmos-Predict2)轉換成機器人操作策略。這種方法利用影片模型在網際網路規模資料上預訓練時所獲得的大量視覺世界知識與時間動態理解,將這些表示重新用於機器人控制,而不是從零訓練操作策略。這套框架展現了強大的效能,在 LIBERO 評測基準上達到 98.5% 的成功率,在 RoboCasa 上達到 67.1%,顯示影片預測模型能有效地將學到的表示遷移到機器人操作任務上。這種「影片即策略」的典範,代表了在機器人應用中善用通用視覺模型的一個有前景的方向。
為何重要
Cosmos Policy 提出了一種新穎的方法:將大型預訓練影片模型微調成機器人策略。它把動作編碼為影片空間中的潛在影格,利用影片基礎模型已學到的物理理解,達到最先進的效能。
解決的問題
從零訓練機器人策略需要大量的機器人資料。Cosmos Policy 證明預訓練的影片模型已經理解物理互動,並能以少得多的機器人專屬資料,有效率地微調用於機器人控制。
重點
- 將 NVIDIA Cosmos-Predict2 影片模型微調成機器人策略
- 將機器人動作編碼為潛在影片影格:一種新穎的表示方式
- 利用影片預訓練所得的物理理解
- 達到最先進的操作效能
- 證明影片模型可以重新用於機器人控制
適用對象
- 探索以影片模型進行機器人控制的研究人員
- 開發以世界模型為基礎之機器人策略的團隊
- 打造物理 AI 的 NVIDIA 生態系開發者
- 探索以基礎模型進行操作的企業
限制
- 需要能取得大型的 NVIDIA Cosmos 預訓練模型
- 微調與推論對 GPU 的需求可觀
- 屬於新穎的方法,目前社群工具有限
- 「動作即影片」的編碼方式未必適合所有操作任務