Mobile ALOHA: Learning Bimanual Mobile Manipulation using Low-Cost Whole-Body Teleoperation
作者: Zipeng Fu, Tony Z. Zhao, Chelsea Finn · CoRL 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。
一句話摘要
低成本的移動式雙臂遠端操作系統,只用 50 次示範並與靜態 ALOHA 資料共同訓練,就在複雜家務任務上使成功率最多提升 90%。
為何重要
Mobile ALOHA 證明了平價的雙臂移動操作是學術實驗室能力所及的。共同訓練的洞見,也就是來自較簡單設定的資料能提升較困難設定的表現,是資料高效機器人學習的強大方法。機器人在廚房烹飪的爆紅示範影片抓住了大眾的想像,並激發了世界各地眾多的重現工作。
問題
多數模仿學習研究侷限於桌面操作,缺乏真實世界家務任務所需的移動能力與靈巧度。收集高品質的雙臂移動操作示範很困難,因為過去並沒有平價的全身遠端操作系統。
提出的方法
Mobile ALOHA 為 ALOHA 雙臂遠端操作系統加上移動底盤與全身遠端操作介面。團隊使用監督式行為複製,搭配一種新穎的共同訓練策略,利用既有的靜態 ALOHA 資料集,以極少的示範大幅提升移動任務的表現。
關鍵見解
- 在既有的靜態 ALOHA 資料集上共同訓練,大幅提升移動操作表現,與只用移動資料訓練相比,成功率最多提升 90%
- 每個任務只需要 50 次示範,就能學會複雜的雙臂移動操作行為,使資料收集變得可行
- 帶有移動底盤的全身遠端操作,讓收集固定底座操作系統遠遠無法觸及之任務的資料成為可能
- 低成本的硬體設計(建立在既有的 ALOHA 平台之上)讓其他研究實驗室也能重現這套系統
- 烹飪與操作電梯等複雜的多步驟家務任務,透過簡單的監督式行為複製就能達成
主要結果
- 與靜態 ALOHA 資料共同訓練,使移動操作任務的成功率最多提升 90%
- 自主完成複雜任務:煎炒蝦子、將鍋子收進櫥櫃、呼叫並進入電梯、沖洗平底鍋
- 每個任務只需 50 次示範,就能有效學習策略
- 全身協調讓導航與雙臂操作得以同時進行
- 低成本的硬體設計可用現成元件重現
限制
- 行為複製對分布偏移很敏感:機器人可能在示範中未見過的狀態下失敗
- 對精度要求高或時間跨度長的任務,只用 50 次示範仍具挑戰性
- 移動底盤的導航相對簡單,並未處理複雜的避障
- 對訓練分布以外的新環境或新物體的泛化能力有限
對領域的影響
Mobile ALOHA 成為近年最爆紅的機器人示範之一,激發數十個實驗室打造自己的移動式雙臂系統。它提出的共同訓練範式已被廣泛採用,這個專案也幫助這個領域轉向以平價硬體進行實用家用機器人研究。
摘要
從人類示範進行模仿學習在機器人領域已展現亮眼的表現。然而,多數成果集中在桌面操作,缺乏通用實用任務所需的移動能力與靈巧度。在這項工作中,我們開發了一套系統,用於模仿需要雙臂且需要全身控制的移動操作任務。我們首先提出 Mobile ALOHA,一套用於資料收集的低成本全身遠端操作系統。它為 ALOHA 系統加上移動底盤與全身遠端操作介面。接著,我們使用 Mobile ALOHA 收集的資料進行監督式行為複製,並發現與既有靜態 ALOHA 資料集共同訓練,能提升移動操作任務的表現。每個任務使用 50 次示範時,共同訓練可使成功率最多提升 90%,讓 Mobile ALOHA 能自主完成複雜的移動操作任務,例如煎炒並盛裝一隻蝦、打開雙門壁櫥收納沉重的鍋子、呼叫並進入電梯,以及用廚房水龍頭稍微沖洗用過的平底鍋。
連結
- arXiv 2401.02117: https://arxiv.org/abs/2401.02117
- PDF: https://arxiv.org/pdf/2401.02117.pdf
- 程式碼: https://github.com/MarkFzp/mobile-aloha
- 專案頁面: https://mobile-aloha.github.io/