GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

作者: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個 GPT 風格的模型，先以 38M 段網路影片預訓練來預測影片，再經微調輸出未來畫格與動作軌跡；在 105 項真實桌面任務上成功率為 97.7%。

為何重要

這份報告顯示，網路影片可以承載操作策略原本必須從機器人資料取得的大部分知識：GR-2 在每項任務只有約 50 次示範的情況下，在 105 項任務上達到 73.9% 成功率，並在未見過的背景與廚房中讓 GR-1 的成功率約增為兩倍。它在 122 種物品（包括透明、可變形與反光物品）上的料箱揀取測試，針對的是一項作者指出對以模型為基礎的方法而言可能相當困難的工業任務。

問題

蒐集大規模機器人資料很慢，真實機器人系統也難以擴展，這限制了操作策略所能達到的通用程度。通用代理必須學會許多技能，同時還要應付新的背景、環境、物體與指令。作者先前的 GR-1 顯示影片生成預訓練有助於策略學習，但它只用了 80 萬段影片，對未見過場景的泛化能力也偏弱。

提出的方法

GR-2 是以語言為條件的 GPT 風格 transformer：凍結的文字編碼器將指令切分為 token，凍結的 VQGAN 把每個畫格轉換成離散 token，機器人狀態（末端執行器姿態與夾爪狀態）則通過線性層。它先以來自人類活動資料集與公開機器人資料集的 3,800 萬段文字-影片片段（摘要稱超過 500 億個 token，Section 2.1 稱約 500 億個）預訓練來預測未來畫格，再以多視角機器人資料微調，同時預測未來影像與由條件 VAE 產生的動作軌跡。在真實機器手臂上，全身控制演算法會平滑笛卡兒軌跡，並轉換為在碰撞約束下以 200 Hz 執行的關節指令。

關鍵見解

把預訓練規模從 GR-1 的 80 萬段影片擴大到 3,800 萬段片段，再搭配一個專為把預訓練知識帶進微調而設計的架構，讓 GR-1 在 Unseen Backgrounds 與 Unseen Environments 設定下的成功率約增為兩倍。
研究發現，生成動作軌跡而非單步動作，對軌跡平滑度與即時效能都至關重要。
預測的影片與真實執行過程高度吻合，因此動作輸出實際上是在「重播」預測的影片；作者建議把改進影片生成視為取得更好動作的途徑。
合成增強（以擴散為基礎的物體插入、以 SAM 為基礎的背景替換、影片重新生成）讓 Unseen Environments 的成功率從 71.7% 提高到 87.0%。
隨著可訓練參數從 30M 增加到 719M，影片預測的驗證損失與真實機器人成功率都有所改善。

主要結果

多任務學習：在 Simple 設定下，以約 40,000 條遠端操作軌跡微調後，在涵蓋 8 種技能的 105 項桌面任務上平均成功率為 97.7%。
泛化：Unseen Backgrounds 為 71.4%，Unseen Environments 為 71.7%，約為 GR-1 的兩倍；加上資料增強後，Unseen Environments 為 87.0%，三種泛化設定平均為 74.7%；Unseen Manipulation 為 55.8%。
每項任務約 50 條軌跡（約為資料量的 1/8）的少量資料訓練：Simple 設定下為 73.9%，在全部三種泛化設定中都勝過 GR-1。
端到端料箱揀取以 55 種物品的約 94,000 條軌跡訓練，並在 122 種物品（67 種未見過）上測試：平均成功率為 79.0%，GR-1 為 33.3%。
CALVIN ABCD→D：連續完成 1 項任務的成功率為 98.6%，連續完成 5 項任務為 85.9%（GR-1：94.9% 與 73.1%），平均長度從 4.21 提高到 4.64。
預設模型有 230M 參數，其中 95M 可訓練；擴展實驗使用 30M、95M、312M 與 719M 可訓練參數。

限制

作者認為未見過的操作是最弱的一環（55.8%）；典型的失敗是拿不起形狀新穎的未見物品，以及被要求拿取未見物品時拿錯物品。
他們提出的未來研究方向是提升動作預測的泛化能力與穩健性，特別是針對新物品與新技能。
所有真實機器人結果都來自單一平台，也就是配備 Robotiq 2F-85 夾爪的 Kinova Gen3 機器手臂；並未測試轉移到其他形態的機器人。
報告沒有提供訓練運算量、推論硬體或策略延遲的數值，而且大多數依設定區分的數字只出現在圖中。
內文沒有說明會釋出程式碼、模型權重或機器人資料集。

對領域的影響

這份 ByteDance Research 技術報告被引用 377 次。它連結了一個專案頁面（gr2-manipulation.github.io）；內文沒有說明會釋出程式碼、模型權重或資料。

摘要

我們提出 GR-2，一個最先進的通用機器人代理，用於多樣且可泛化的機器人操作。GR-2 首先以大量網際網路影片預訓練，以捕捉世界的動態。這項大規模預訓練涵蓋 3,800 萬段影片片段與超過 500 億個 token，讓 GR-2 在後續的策略學習中，具備在廣泛的機器人任務與環境之間泛化的能力。接著，GR-2 使用機器人軌跡，同時針對影片生成與動作預測進行微調。它展現出令人印象深刻的多任務學習能力，在 100 多項任務上達到 97.7% 的平均成功率。此外，GR-2 對新的、從未見過的情境展現出卓越的泛化能力，包括新的背景、環境、物體與任務。值得注意的是，GR-2 能隨模型規模有效擴展，突顯其持續成長與應用的潛力。專案頁面：https://gr2-manipulation.github.io。

連結

arXiv 2410.06158: https://arxiv.org/abs/2410.06158
DOI https://doi.org/10.48550/arxiv.2410.06158: https://doi.org/https://doi.org/10.48550/arxiv.2410.06158
PDF: https://arxiv.org/pdf/2410.06158v1
專案頁面: https://gr2-manipulation.github.io/