CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation
作者: Qixiu Li, Yaobo Liang, Zeyu Wang, Lin Luo, Xi Chen, Mozheng Liao, Fangyun Wei, Yu Deng, Sicheng Xu, Yizhong Zhang, Xiaofan Wang, Bei Liu, Jianlong Fu, Jianmin Bao, Dong Chen, Yuanchun Shi, Jiaolong Yang, Baining Guo · 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。
一句話摘要
CogACT 在一個 7B 視覺-語言模型之上加裝一個擴散 Transformer 動作模組。在 SIMPLER 模擬中,它的平均成功率比 OpenVLA 高出 35% 以上,在兩台真實機械手臂上高出 55%。
為何重要
多數大型 VLA 把機器人動作轉換成類似文字的 token。CogACT 則為動作另設一個模組,也就是讀取視覺-語言模型單一特徵的擴散 Transformer。為這個模組增加幾億個參數(相較於 7B 的基礎模型很小),就帶來可觀的提升。作者認為這是擴展 VLA 模型更有效率的方式。程式碼與模型皆已公開。
問題
大型 VLA 常以簡單的方式把視覺-語言模型改用於動作。有些把連續動作切成離散區間,像預測字詞一樣預測它們,讓動作難以學習且精度較低。另一些加上迴歸頭,卻忽略了同一任務可以由多條不同軌跡完成。結果是任務成功率一直偏低。
提出的方法
CogACT 由三個部分組成。視覺模組(DINOv2 與 SigLIP)把相機影像轉成 token。語言模組(LLaMA-2,來自 Prismatic VLM)讀取這些 token、指令與一個可學習的認知 token,並輸出一個認知特徵。擴散 Transformer 動作模組以該特徵預測目前的 7 自由度夾爪動作與 15 個未來動作。所有部分端到端訓練。執行時,Adaptive Action Ensemble 混合過去與目前的預測,對與目前預測相似的過去預測給予較高權重。
關鍵見解
- 在模擬中,擴散 Transformer 動作模組勝過參數量相同的 MLP 頭(DiT-Base 平均 62.5%,7 層 MLP 為 52.5%,兩者都是 89M)。
- Transformer 動作模組的平均成功率大致隨其規模的對數呈線性上升;最大的 DiT-Large (308M) 平均達到 64.8%。
- 預測未來動作有幫助:預測 15 個未來步驟時平均為 62.5%,不預測未來步驟時為 42.8%,預測 31 步時為 51.2%。
- Adaptive Action Ensemble 平均得分 62.5%,Temporal Ensemble 為 58.9%,Action Chunking 為 50.7%。
主要結果
- SIMPLER 模擬,Google 機器人:Visual Matching 平均成功率 74.8%,Variant Aggregation 為 61.3%,而 OpenVLA 分別為 34.3% 與 39.3%,RT-2-X 為 46.3% 與 54.4%。
- SIMPLER 模擬,WidowX 機器人 (Visual Matching):平均成功率 51.3%,OpenVLA 為 4.2%,Octo-Small 為 26.7%。
- 真實 Realman 機械手臂,以 391 次示範微調後:在 Pick、Stack 與 Place 上平均成功率 71.2%,OpenVLA 為 12.1%,Octo-Base 為 4.9%。
- 真實 Franka 機械手臂,以 400 次示範微調後:四項任務平均成功率 61.4%,OpenVLA 為 6.8%,Octo-Base 為 5.8%。
- Realman 泛化:在未見過的桌面加上未見過的干擾物上為 58.4%(OpenVLA 9.7%),在未見過的顏色、形狀與類別上為 64.6%(OpenVLA 6.3%)。
- CogACT 有 7.6B 參數;RT-2-X 有 55B。論文報告,在模擬中(僅 Google 機器人)它的成功率比 RT-2-X 絕對提高 18%。
限制
- 論文沒有限制一節。它的範圍較窄:只考慮「具 7 個自由度 (DoF) 夾爪的動作空間」與單臂資料集。
- 一些真實任務仍然困難:在 Realman 上,把一個方塊疊到另一個方塊上的成功率為 33.3%(在未見過的桌面上為 16.7%),未見過的物體類別為 25.0%。
- 真實機器人測試規模不大:每項 Franka 任務 11 次試驗,每項 Realman 測試 8 到 48 次試驗。RT-2-X 只在模擬的 Google 機器人上比較;至於 WidowX,「沒有可公開用於評估的模型權重」。
對領域的影響
CogACT 證明,VLA 可以由一個預訓練的視覺-語言模型加上一個獨立、規模不大的擴散動作模組構成,兩者端到端共同訓練。作者把這視為比擴大整個模型更有效率的 VLA 擴展方式。程式碼與模型權重已公開,其他人可以在自己的機器人上微調它。
摘要
視覺語言動作模型在機器人操作上展現潛力,但多數方法只是透過基本的動作量化,讓視覺語言模型去預測動作。我們提出 CogACT,一種元件化的 VLA 架構,具有一個以 VLM 輸出為條件的專門動作模組。我們證明擴散動作 Transformer 能顯著改善動作序列建模,並具有良好的擴展性質。我們的模型在模擬與真實環境中、跨五種機器人形態進行測試,在模擬評估中的平均成功率超出 OpenVLA 35% 以上、在真實機器人實驗中超出 55%,同時在模擬任務上勝過規模更大的 RT-2-X 模型 18%。
連結
- arXiv 2411.19650: https://arxiv.org/abs/2411.19650
- PDF: https://arxiv.org/pdf/2411.19650.pdf
- 程式碼: https://github.com/microsoft/CogACT
- 專案頁面: https://cogact.github.io/