What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

作者: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

在 5 個模擬與 3 個真實操作任務上測試六種離線學習演算法：依賴歷史的 BC-RNN 從人類示範中學得最好，而批次 RL 在人類資料上表現吃力。

為何重要

對任何收集遙控操作資料的人，這項研究提供了具體的設定：使用依賴歷史的策略、加入腕部相機與像素平移影像隨機化、讓本體感覺輸入保持精簡，並預期以驗證損失挑選檢查點會選到較弱的策略。在模擬中調好的超參數，未經真實世界調校就套用到真實的 Franka 手臂上，仍產生可運作的 Lift 與 Can 策略。

問題

基於人類示範的模仿學習與批次（離線）強化學習，在機器人操作方面缺乏開源的人類資料集與可重現的實作，因此難以判斷哪些方法與設計選擇有效。人類示範與機器產生的資料不同：它們可能不具馬可夫性，品質因操作員而異，而且訓練損失只是評估所用任務成功率的替代指標。

提出的方法

作者透過 RoboTurk 為五個模擬任務（Lift、Can、Square、Transport、Tool Hang）收集遙控操作示範，作為單一操作員的 Proficient-Human 資料集（200 次示範）與六位操作員的 Multi-Human 資料集（300 次示範），另外還有 Lift 與 Can 的機器產生資料集，以及在 Franka 手臂上針對 Lift、Can 與 Tool Hang 的 200 次示範真實世界資料集。他們在低維觀測與影像觀測上訓練 BC、BC-RNN、HBC、BCQ、CQL 與 IRIS，在模擬中線上評估每個檢查點，並變動觀測空間、超參數、資料集規模與策略選擇規則。

關鍵見解

依賴歷史的模型（BC-RNN、HBC、IRIS）從人類示範中學習的效果遠優於一般的 BC；BC-RNN 與 BC 的差距隨任務時域拉長而擴大（Transport (PH) 約 55%，Square (PH) 約 5%），在多操作員資料上也會擴大。
BCQ 與 CQL 在機器產生的混合品質資料上表現良好，但在人類資料集上表現很差，即使在由同一位操作員的成功與失敗示範配對而成的診斷資料集上也是如此。
觀測的設計很重要：加入末端執行器速度或關節狀態，讓低維代理的效能下降 49%–88%（相對值），而移除像素平移隨機化或腕部相機則會損害影像代理。
以最低驗證損失或最後一個 epoch 來挑選檢查點，得到的策略比最佳檢查點差 10% 到 100%，因此離線策略選擇仍是未解的問題。
簡單任務（Lift、Can）只用 20% 的資料就達到 75%–100% 的成功率，而複雜任務（Square、Transport）則隨資料增加持續進步。

主要結果

BC-RNN 在低維 Proficient-Human 資料上（3 個隨機種子）：Lift 100%、Can 100%、Square 84.0%、Transport 71.3%、Tool Hang 19.3%。
BC-RNN 在影像觀測上：Square (PH) 82.0%、Transport (PH) 72.0%、Tool Hang (PH) 67.3%，BCQ 則為 41.3%、0.7% 與 3.3%。
在低維 Multi-Human 資料上，BCQ 在 Can 達到 62.7%、在 Square 達到 14.0%，BC-RNN 則為 100% 與 78.0%。
在混合不同操作員品質、200 次示範的 Square 資料上，BC-RNN 得分為 55.3%、73.3% 與 74.0%，低於它在 200 次示範的單一操作員 Square (PH) 資料集上的 84.0%。
真實 Franka 手臂，BC-RNN，最後一個檢查點，30 次執行，未經真實世界調校：Lift 96.7%、Can 73.3%、Tool Hang 3.3%。
在真實的 Can 任務上，移除像素平移隨機化讓成功率降到 26.7%，移除腕部相機則降到 43.3%。

限制

模擬結果報告的是線上評估每個檢查點後找到的最佳檢查點，作者指出這在真實機器人上不可行；真實世界的結果則改用最後一個檢查點。
真實世界實驗涵蓋三個任務，各 30 次執行，且未做真實世界的超參數調校；作者稱這些結果為下限，而真實的 Tool Hang 策略在 3.3% 的執行中成功。
機器產生的資料集只有 Lift 與 Can，因為即使經過大量調校，RL 代理也無法解決其他任務。
這項研究比較六種既有演算法，而非提出解決辦法；縮小批次 RL 在人類資料上的差距與更好的離線策略選擇，留待未來研究。
PMLR 版本提及的附錄（任務細節、資料集規模的表 27 與 28、BCQ 與 CQL 的超參數）並未收錄其中。

對領域的影響

被引用 548 次（數字依所列）。作者在專案頁面開源了資料集與所有演算法實作，提供一套共用的人類示範操作任務與基準，用於比較離線學習方法。

摘要

模仿人類示範是賦予機器人各種操作能力的一種有前景的方法。雖然模仿學習與批次（離線）強化學習近來有所進展，但缺乏開源的人類資料集與可重現的學習方法，使得評估這個領域的現況相當困難。在本文中，我們針對機器人操作的六種離線學習演算法進行廣泛的研究，涵蓋五個模擬與三個真實世界、複雜度各異的多階段操作任務，並使用品質各異的資料集。我們的研究分析了從離線人類資料學習操作時最關鍵的挑戰。根據這項研究，我們歸納出一系列經驗，包括對不同演算法設計選擇的敏感度、對示範品質的依賴，以及因訓練與評估目標不同而造成、取決於停止準則的變異。我們也指出從人類資料集學習的機會，例如能在超出現有強化學習方法範圍、具挑戰性的多階段任務上學到熟練的策略，以及能輕鬆擴展到只有原始感測訊號可用的自然真實世界操作情境。我們已將資料集與所有演算法實作開源，以促進未來在人類示範資料學習方面的研究與公平比較：https://arise-initiative.github.io/robomimic-web/

連結

arXiv 2108.03298: https://arxiv.org/abs/2108.03298
DOI https://doi.org/10.48550/arxiv.2108.03298: https://doi.org/https://doi.org/10.48550/arxiv.2108.03298
PDF: https://proceedings.mlr.press/v164/mandlekar22a/mandlekar22a.pdf
專案頁面: https://arise-initiative.github.io/robomimic-web/