Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

作者: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, Pete Florence, Chuyuan Fu, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Kehang Han, Karol Hausman, Alexander Herzog, Jasmine Hsu, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Isabel Leal, Lisa Lee, Tsang-Wei Edward Lee, Sergey Levine, Yao Lu, Henryk Michalewski, Igor Mordatch, Karl Pertsch, Kanishka Rao, Krista Reymann, Michael Ryoo, Grecia Salazar, Pannag Sanketi, Pierre Sermanet, Jaspiar Singh, Anikait Singh, Radu Soricut, Huong Tran, Vincent Vanhoucke, Quan Vuong, Ayzaan Wahid, Stefan Welker, Paul Wohlhart, Jialin Wu, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Tianhe Yu, Brianna Zitkovich · CoRL 2023

CoRL 2023

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

將動作表示為文字 token,以機器人資料對視覺語言模型進行共同微調,讓機器人控制能湧現語意推理並轉移網路知識。

為何重要

RT-2 創造了「視覺-語言-動作模型」(VLA)這個名詞,並證明網際網路規模的知識能轉移到機器人控制。這篇論文開啟了一整個研究方向,並直接啟發了 OpenVLA 等開源替代方案,使它成為現代機器人學習中最具影響力的論文之一。

問題

只以機器人資料訓練的機器人策略泛化能力有限,也無法利用網際網路規模的視覺語言模型中所編碼的大量語意知識。

提出的方法

RT-2 將機器人動作表示為文字 token,同時以機器人軌跡資料與網際網路規模的任務對最先進的視覺語言模型進行共同微調,打造出一個統一的視覺-語言-動作(VLA)模型,為機器人控制繼承網路知識。

關鍵見解

  • 將機器人動作表示為文字 token,就能與網際網路規模的視覺語言資料無縫共同訓練,而不需要修改架構
  • 網路規模的預訓練能直接轉化為更好的機器人泛化能力,讓機器人能理解機器人訓練資料中從未見過的新物件與指令
  • 思維鏈推理可以應用於機器人控制,為複雜的任務理解提供多階段的語意推理
  • 這篇論文所提出的 VLA 範式,確立了一個串起語言理解與實體操作的新模型類別
  • 湧現能力在規模擴大時出現:模型展現出沒有被明確訓練過的推理能力,例如臨時使用工具

主要結果

  • 在 6,000 次評估試驗中,對新物件的泛化能力明顯優於 RT-1 與其他基準方法
  • 展現湧現能力,包括理解機器人訓練資料中沒有的指令(例如把物件放到特定的數字或圖示上)
  • 思維鏈推理能針對臨時選擇工具等複雜指令進行多階段的語意推理
  • 在原本的 RT-1 任務上維持強勁表現,同時透過網路知識轉移獲得大量新能力

限制

  • 閉源模型,沒有公開的權重或程式碼,限制了可重現性與社群採用
  • 模型極為龐大(55B 參數),訓練與推論都需要大量運算資源
  • 推論延遲對於時間要求嚴格的真實世界機器人應用而言可能太慢
  • 主要在單一機器人平台(Google 的移動操作機器人)上評估,限制了跨形態泛化的主張

對領域的影響

RT-2 定義了 VLA 模型這個類別,並證明網路規模的視覺語言預訓練能在機器人控制中解鎖湧現的推理能力。它催生了一波機器人基礎模型的研究,並直接推動了開源 VLA 替代方案的開發。

摘要

我們研究如何將以網際網路規模資料訓練的視覺語言模型直接納入端對端的機器人控制,以提升泛化能力並促成湧現的語意推理。我們的目標,是讓單一個端對端訓練的模型既能學會將機器人觀測對應到動作,又能享有在網路上的語言與視覺語言資料進行大規模預訓練的好處。為此,我們提議同時以機器人軌跡資料與網際網路規模的視覺語言任務(例如視覺問答),對最先進的視覺語言模型進行共同微調。與其他方法不同,我們提出一套簡單、通用的做法來達成這個目標:為了讓自然語言回應與機器人動作都能放進同一種格式,我們將動作表示為文字 token,並以與自然語言 token 相同的方式,將它們直接納入模型的訓練集。我們將這類模型稱為視覺-語言-動作模型(VLA),並實作出這類模型的一個實例,稱為 RT-2。我們的大規模評估(6k 次評估試驗)顯示,我們的方法能產生高效能的機器人策略,並讓 RT-2 從網際網路規模的訓練中獲得一系列湧現能力。這包括對新物件的泛化能力大幅提升、能理解機器人訓練資料中沒有的指令(例如把物件放到特定的數字或圖示上),以及能針對使用者指令進行初步推理(例如拿起最小或最大的物件,或最靠近另一個物件的那一個)。我們進一步證明,納入思維鏈推理能讓 RT-2 進行多階段的語意推理,例如判斷該拿起哪個物件當作臨時的鎚子(一塊石頭),或哪種飲料最適合疲倦的人(能量飲料)。

連結

  • arXiv 2307.15818: https://arxiv.org/abs/2307.15818
  • PDF: https://arxiv.org/pdf/2307.15818.pdf
  • 專案頁面: https://robotics-transformer2.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。