Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

VIMA: General Robot Manipulation with Multimodal Prompts

作者: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

把操作任務表述為文字與影像交錯的提示,新增 VIMA-Bench 基準測試,並提出一個以物件 token 與交叉注意力為基礎的代理人,泛化能力優於 Gato 式的設計。

為何重要

一個提示介面就涵蓋目標抵達、單次影片模仿、新概念的對應與約束滿足,因此能在這些任務上訓練並比較同一個策略。消融實驗提供了具體的設計指引:可變長度的物件 token 與交叉注意力條件化,勝過原始像素分詞器與僅含解碼器的條件化,在小型模型與新任務上尤其明顯。

問題

機器人任務以不同形式指定,例如單次示範、語言指令與視覺目標,通常由架構、目標函數與資料流程各不相同的專門模型分別處理。過去沒有任何基準測試提供一套多模態提示任務,並對泛化能力做系統性測試。

提出的方法

任務被寫成文字與影像交錯的提示。VIMA 以預訓練的 T5-Base 編碼器編碼提示,把影像轉成物件 token(Mask R-CNN 邊界框加上經 ViT 編碼的裁切影像),再用一個交替進行因果自注意力與對提示之交叉注意力的 Transformer,解碼出用於抓取放置或推動的離散化末端執行器位姿。它在 VIMA-Bench 上以行為複製訓練;VIMA-Bench 是 Ravens/PyBullet 的擴充,包含 17 個任務範本、65 萬條成功的專家軌跡(每項任務 5 萬條,見第 3 節;摘要將此約略寫為 60 萬條以上)與一套四級泛化協定。

關鍵見解

  • 物件 token 勝過原始像素分詞器(影像區塊、Image Perceiver、單一影像 token);作者推測像素分詞器把容量花在從像素中解析出物件。
  • 把物件降取樣為固定數量的 token(Object Perceiver),即使輸入相同的邊界框,表現也明顯不如直接傳入可變長度的物件序列。
  • 交叉注意力條件化在小型模型與 L4 新任務上最為重要;在較大的模型中,僅含解碼器的版本可達到相當的表現。
  • 提示編碼器的規模(T5 small 3,000 萬、base 1.11 億、large 3.68 億)沒有造成顯著差異,因此預設使用 T5-Base。
  • 加入物件增強(隨機注入偽陽性偵測結果)後,微調過的 Mask R-CNN 相較於真實標註邊界框,表現損失很小。

主要結果

  • 2 億參數的控制器:在 VIMA-Bench 上的平均成功率為 81.5%(L1)、81.5%(L2)、78.7%(L3)與 48.6%(L4),VIMA-Gato 則為 58.0%、53.1%、46.0% 與 16.8%。
  • L4(新任務)、2,000 萬參數的控制器:VIMA 為 48.8%,VIMA-Gato 為 12.3%,這就是「最多 2.9 倍」相對提升的根據。
  • 只用 10% 的資料訓練,VIMA 在 L4 上達到 46%,而以完整資料集訓練的 VIMA-Gato 為 12.2%(即「2.7 倍」這個數字)。
  • 只用 1% 的資料時,VIMA 在 L1 與 L2 上的表現,與使用 10 倍資料訓練的基準方法相當。
  • 隨著難度等級提高,VIMA 從 L1 到 L2 與 L3 幾乎沒有退步,而基準方法下降多達 20%;VIMA 在 L4 上的下降幅度只有基準方法的一半。

限制

  • 仰賴獨立的物件偵測器並承襲其錯誤,這些錯誤可能在遮擋或物件形態超出分布時發生。
  • 模擬器的真實度與任務複雜度有限:VIMA-Bench 著重於多任務能力、泛化與多模態理解,而非物理真實度。
  • 動作基元有限:只有來自 Transporter 的高階抓取放置與推動/擦拭動作;關節扭矩等較低階的控制需要修改。
  • 所有實驗都在模擬中進行;論文沒有報告自己的真實機器人實驗。
  • 包括 VIMA 在內,所有方法在 L4 新任務上都明顯退步,VIMA 的平均成功率也低於 50%。

對領域的影響

發表於 ICML 2023。Semantic Scholar 統計引用 655 次(2026 年 11 月 14 日)。作者開源了模擬環境(VIMA-Bench)、訓練資料集、演算法程式碼與預訓練模型檢查點。

摘要

以提示為基礎的學習,已成為自然語言處理中成功的典範:單一的通用語言模型可以依照輸入提示所指定的內容執行任何任務。然而,機器人領域的任務指定有各種形式,例如模仿單次示範、遵循語言指令,以及抵達視覺目標。這些通常被視為不同的任務,由專門的模型分別處理。我們證明,許多種類的機器人操作任務都能以交錯排列文字與視覺 token 的多模態提示來表達。據此,我們開發了一套新的模擬基準測試,包含數千個附有多模態提示、以程序生成的桌面任務,60 萬條以上供模仿學習使用的專家軌跡,以及一套用於系統性泛化的四級評估協定。我們設計了以 Transformer 為基礎的機器人代理人 VIMA,它會處理這些提示,並以自迴歸方式輸出運動動作。VIMA 採用一套能達成優異模型擴展性與資料效率的方法。在最困難的零樣本泛化設定中,使用相同的訓練資料時,它的任務成功率比其他設計最多高出 2.9 倍。訓練資料減少為十分之一時,VIMA 的表現仍比最佳的競爭版本好 2.7 倍。程式碼與影片示範請見 https://vimalabs.github.io/

連結

  • arXiv 2210.03094: https://arxiv.org/abs/2210.03094
  • PDF: https://arxiv.org/pdf/2210.03094v2
  • 程式碼: https://github.com/vimalabs/VIMA
  • 專案頁面: https://vimalabs.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。