Foundation models in robotics: Applications, challenges, and the future
作者: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用。
一句話摘要
關於基礎模型在機器人領域應用的綜述，依決策與控制、感知與具身 AI 分類，最後列出從資料稀少到安全與即時使用的八項開放挑戰。
為何重要
工程師在決定是否於機器人中使用 LLM、VLM 或機器人 Transformer 時，可以參考這篇綜述的分類及其表 II；該表列出參數量與推論頻率，例如 RT-2 為 1-3 Hz，而 Gato 為 20 Hz。挑戰一節點出實際部署時的考量：只能在雲端執行的模型與網路延遲、幻覺、經過校準的不確定性，以及安全測試。作者也指出，許多決策方面的結果難以比較，因為它們依賴客製的硬體堆疊或不含物理的模擬器。
問題
機器人領域的深度學習模型通常是在為單一任務蒐集的小型資料集上訓練，這限制了它們適應新任務與新環境的能力。在網際網路規模資料上預訓練的基礎模型在語言與視覺領域泛化良好，機器人研究者也開始把它們直接接上機器人、為機器人進行調適，或專為機器人建立。這個領域的研究分散在感知、規劃與控制等方向，沒有一張統一的地圖說明哪些已經嘗試過、哪些仍未解決。
提出的方法
這是一篇綜述，並未提出自己的方法。其範圍限定於背景論文、機器人論文（隨插即用、經過微調或為機器人新建立的基礎模型）以及與機器人相鄰領域的論文，內容涵蓋基礎模型背景、機器人決策與控制（以語言為條件的模仿學習、語言輔助的 RL、價值學習、LLM 任務規劃與程式碼生成、情境內學習、機器人 Transformer、開放詞彙導航與操作）、感知（開放詞彙偵測、分割、3D 場景表示、可供性、預測模型），以及具身 AI 與其模擬器。最後討論挑戰與未來方向，並以表格整理機器人專用預訓練模型的大小、推論速度與訓練硬體。
關鍵見解
- 這篇綜述把機器人領域的研究分為使用基礎模型的三種方式：隨插即用地使用現有模型、對其進行調適或微調，以及建立新的機器人專用基礎模型。
- 目前的機器人 Transformer 學到的機器人實體技能，侷限於機器人資料中既有技能的分布；作者建議以人類影片中的動作資料作為突破此限制的途徑之一。
- 許多基礎模型只能透過雲端 API 存取，因此延遲取決於機器人無法控制的網路；作者建議採用本地的備援自主能力，並蒸餾成較小的機載模型。
- 對於安全攸關的機器人，作者主張不確定性估計需要在頻率學派的意義上經過校準，並以 KnowNo 運用保形預測作為案例研究。
- Gibson、Habitat、RoboTHOR 與 VirtualHome 等不含物理的模擬器，以犧牲低階物理換取視覺擬真度，作者將此與較大的模擬到現實落差及較差的可重現性連結在一起。
主要結果
- 作為綜述，它沒有報告自己的實驗；其參考文獻多達 233 筆，涵蓋背景、機器人與機器人相鄰領域的論文。
- 表 II 列出機器人專用預訓練模型的大小與推論頻率，例如 RT-1 為 35M 參數、3 Hz，RT-2 與 RT-2-X 為 55B 參數、在多 TPU 雲端服務上為 1-3 Hz，Gato 為 1.2B、20 Hz，ViNT 為 31M、4 Hz。
- 同一張表列出 PACT（12M 參數）在 Nvidia Xavier NX 邊緣電腦上為 10 Hz，在 8 張 Nvidia V100 GPU 上為 50 Hz；PaLM-E-562B 的語言子目標為 1 Hz，低階控制為 5 Hz。
- 這篇綜述指出，RT-1 以超過 130k 筆真實世界機器人回合訓練，涵蓋 700 多項任務，這些資料由 13 台機器人在 17 個月間蒐集。
- 這篇綜述指出，RT-X 資料集結合了來自 22 種機器人與 21 個機構的資料，涵蓋 527 項技能（160,266 項任務）。
- 它列出八個挑戰領域：資料稀少、即時效能、多模態表示的侷限、不確定性量化、安全評估、隨插即用與建立新模型之間的取捨、機器人環境的高度變異性，以及基準測試與可重現性。
限制
- 作者稱此版本為初步釋出版本，並打算持續更新，因此它反映的是截至 2023 年 12 月的領域現況。
- 範圍侷限於三類論文（背景、機器人、機器人相鄰領域），作者也指出其範圍比更廣泛的基礎模型綜述窄得多。
- 作者表示，決策一節的論文比感知或具身 AI 兩節的論文更難評估與比較，因為它們依賴客製的硬體堆疊或不含物理的模擬器。
- 表 II 在原始論文未報告資料之處留有空白欄位，因此並非每個模型都有推論速度與硬體資訊。
對領域的影響
這篇綜述被引用 471 次。作者同時釋出一個 GitHub 專案 Awesome-Robotics-Foundation-Models，並將其描述為打算持續更新的初步釋出版本。
摘要
我們綜述預訓練基礎模型在機器人領域的應用。機器人領域的傳統深度學習模型是在針對特定任務打造的小型資料集上訓練，這限制了它們在多樣應用中的適應能力。相較之下，在網際網路規模資料上預訓練的基礎模型似乎具備較佳的泛化能力，在某些情況下甚至展現出湧現能力，能為訓練資料中不存在的問題找到零樣本解法。基礎模型可能有潛力強化機器人自主系統堆疊的各個組成部分，從感知到決策與控制。例如，大型語言模型可以產生程式碼或提供常識推理，而視覺語言模型則能實現開放詞彙的視覺辨識。然而，重大的開放研究挑戰依然存在，特別是與機器人相關的訓練資料稀少、安全保證與不確定性量化，以及即時執行。在這篇綜述中，我們研究近期使用或建立基礎模型來解決機器人問題的論文。我們探討基礎模型如何在感知、決策與控制等領域協助提升機器人的能力。我們討論阻礙基礎模型應用於機器人自主的挑戰，並提出未來進展的機會與可能途徑。與本文對應的 GitHub 專案（初步釋出版本。我們承諾會持續強化並更新這項工作，以確保其品質與相關性）可在此找到：https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models
連結
- arXiv 2312.07843: https://arxiv.org/abs/2312.07843
- DOI 10.1177/02783649241281508: https://doi.org/10.1177/02783649241281508
- PDF: https://arxiv.org/pdf/2312.07843v1
- 專案頁面: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models