Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
作者: Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Chuyuan Fu, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Daniel Ho, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Eric Jang, Rosario Jauregui Ruano, Kyle Jeffrey, Sally Jesmonth, Nikhil J Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Kuang-Huei Lee, Sergey Levine, Yao Lu, Linda Luu, Carolina Parada, Peter Pastor, Jornell Quiambao, Kanishka Rao, Jarek Rettinghouse, Diego Reyes, Pierre Sermanet, Nicolas Sievers, Clayton Tan, Alexander Toshev, Vincent Vanhoucke, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Mengyuan Yan, Andy Zeng · CoRL 2022
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。
一句話摘要
SayCan 將 LLM 與學習而得的機器人可供性(價值函數)結合,讓 LLM 提供以實體可行性為根據的高階任務知識,使真實的移動操作機器人能遵循長時域自然語言指令。
為何重要
SayCan 是最早、也最具影響力的工作之一,展示了 LLM 如何實際整合進機器人系統。它提出一個關鍵洞見:LLM 的輸出必須以機器人的實際能力為根據,模型不應只說該做什麼,還要考慮自己能做什麼。這種「LLM 作為規劃器 + 可供性根據」的範式,成為以語言為條件的機器人學的基礎。
問題
大型語言模型蘊含豐富的語意知識,卻缺乏與物理現實的連結——它們能規劃任務,卻無法判斷機器人能否真的執行每個步驟。這種脫節讓 LLM 在真實世界的機器人指令遵循上不可靠。
提出的方法
SayCan 將 LLM 的語意知識與學習而來的可供性函數(來自預訓練技能的價值函數)結合,依物理可行性為每個候選動作評分。LLM 提出該做什麼,可供性則篩選出機器人能做什麼,實現有實際依據的長時程規劃。
關鍵見解
- LLM 編碼了有用的程序性知識,但缺乏實體根據;將它們與學習而得的可供性模型結合,就能彌補這個落差
- 來自預訓練技能的價值函數依可行性為 LLM 的提議評分,只選出機器人能可靠執行的動作
- 能根據抽象的自然語言指令完成長時域任務(例如「我把飲料打翻了,你能幫忙嗎?」)
- 已在廚房環境中的真實 Everyday Robots 移動操作機器人上展示
- 不需要針對特定任務微調語言模型,就能跨任務泛化
主要結果
- 以移動機器手臂在 101 項真實世界長時程廚房任務上達到 74% 的端到端成功率
- LLM + 可供性落地有 84% 的時間能選出合適的技能,單用 LLM 則為 45%
- 能處理時間跨度長的多步驟指令(最多 12 個連續步驟)
- 展現了回應人類偏好與情境請求的湧現能力
- 在辦公室廚房中以 Everyday Robots 移動機器手臂進行真實機器人實驗
限制
- 依賴固定的預訓練操作技能庫——無法泛化到現有基本動作之外
- 可供性函數必須為每項技能分別訓練,每項技能都需要大量資料
- 規劃是貪婪式的(一次一步),而非真正針對整個任務時域進行最佳化
- 在需要預訓練技能庫以外技能的任務上,表現會明顯下降
對領域的影響
SayCan 是最早、也最具影響力的以 LLM 進行機器人任務規劃的展示之一。它提出了可供性落地這個關鍵概念——LLM 的輸出必須依機器人實際能做的事加以篩選——這成為語言條件機器人學的主流範式。後續幾乎每一篇將 LLM 用於機器人的論文,都建立在這個方法之上或引用了它。
摘要
大型語言模型能編碼關於世界的大量語意知識。對於要依據以自然語言表達、高階且時間上延展的指令來行動的機器人而言,這類知識可能極為有用。然而,語言模型的一項重大弱點是缺乏真實世界經驗,使得它們難以在特定的形態中用於決策。我們提議透過預訓練技能來提供真實世界的根據,用這些技能約束模型,使其提出既可行又符合情境的自然語言動作。機器人可以擔任語言模型的「手和眼睛」,而語言模型則提供關於任務的高階語意知識。我們在多項真實世界機器人任務上評估我們的方法,結果顯示真實世界根據的必要性,並證明這種方法能讓移動操作機器人完成長時域、抽象的自然語言指令。
連結
- arXiv 2204.01691: https://arxiv.org/abs/2204.01691
- PDF: https://arxiv.org/pdf/2204.01691
- 程式碼: https://github.com/google-research/google-research/tree/master/saycan
- 專案頁面: https://say-can.github.io/