MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

作者: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

MimicPlay 從 10 分鐘的人手自由操作影片學習一個潛在規劃器，並從少量遠端操作示範學習一個由規劃引導的 transformer 控制器，提高了 Franka 機械手臂上的長時程任務成功率。

為何重要

人類自由操作資料不需要機器人、任務標籤或環境重設：機器人遠端操作要花 90 秒的事，人類約 5 秒就能完成，而 10 分鐘的自由操作資料大約相當於一個 3 小時的遠端操作資料集。由於人類動作與機器人技能共用同一個潛在規劃空間，人類影片也能直接當作機器人的目標提示。

問題

模仿學習大多侷限於短時程的基元，因為長時程示範的蒐集既緩慢又費力。從機器人自由操作資料學習雖有幫助，但仍需要數小時的遠端操作，例如 C-BeT 需要 4.5 小時，TACO-RL 需要 6 小時。

提出的方法

MimicPlay 依資料來源劃分學習。一個目標條件的潛在規劃器，在每個場景 10 分鐘的人類自由操作影片上訓練，透過高斯混合模型（Gaussian Mixture Model）頭預測未來的 3D 手部軌跡（以兩台已校正的攝影機追蹤），同時以 KL 損失對齊人類與機器人的視覺特徵。接著，一個以每個任務 20–40 個遠端操作示範訓練的 GPT 式 transformer 策略，把凍結規劃器的潛在規劃，加上腕部攝影機與本體感覺輸入，映射成末端執行器與夾爪指令。

關鍵見解

• 高階規劃可以從便宜的人類自由操作資料學習，而低階控制則來自沒有形態差距的遠端操作示範。
• 需要 GMM 頭來捕捉多模態的人手軌跡；沒有它時，規劃器的泛化能力比完全不用人類資料訓練的變體還差。
• 對編碼器特徵分布施加 KL 損失，能在沒有配對資料的情況下縮小人與機器人之間的視覺差距，讓人類與機器人特徵分布在 t-SNE 中的重疊增加 23%。
• 使用全部 10 分鐘而不是一半的人類自由操作資料，能改善對沒見過的子目標組合的泛化。
• 與 LMP 與 R3M-BC 等端對端方法相比，預先訓練的潛在規劃減少了從單一任務訓練改為多任務訓練時的效能損失。

主要結果

• Kitchen，長時程，全部三個任務（表 1）：20 個示範時成功率 0.47，40 個示範時 0.70，基準方法最多為 0.07 與 0.17，不使用人類資料的變體為 0.23 / 0.40。
• Study Desk（表 2，20 個示範）：訓練過的任務上 0.55，沒見過的任務組合上 0.47，GC-BC（BC-trans）與 LMP 為 0.00，不使用人類資料的變體為 0.20 / 0.10。
• 在 Flower、Whiteboard、Sandwich 與 Cloth 上的多任務（表 3）：一個共用模型為 0.55，每個任務一個模型為 0.58；LMP 從 0.13 降到 0.05，R3M 從 0.25 降到 0.15。
• 去掉 KL 損失後，訓練任務的成功率降到 0.38（比 0.55 低 17%）；去掉 GMM 後，訓練任務為 0.28，沒見過的任務為 0.07。
• 在只有機器人自由操作資料可用的 LIBERO 模擬中，不使用人類資料的階層式變體在長時程任務上達到 0.29–0.67，GC-BC 基準則為 0.00（5 個隨機種子，100 次試驗）。
• 整個系統以 17 Hz 執行，快到足以在人類干擾（例如把摺好的毛巾攤開）後重新規劃；第 4 節寫的控制頻率是 20 Hz，附錄則為 17–20 Hz。

限制

• 潛在規劃是從特定場景的人類自由操作資料學習而來；以網際網路規模的資料訓練可能提升可擴展性（作者所述）。
• 任務僅限於桌面情境；沒有涵蓋移動式操作（作者所述）。
• 跨形態表示學習仍有改進空間，例如採用時間對比學習或循環一致性學習（作者所述）。
• 在多任務訓練中，白板任務的成功率從 0.5 降到 0.2，作者將其歸因於白板示範較短，造成資料集不平衡。
• 3D 手部追蹤需要已校正的雙攝影機設置，而且人類自由操作的部分無法在模擬中測試。

對領域的影響

入圍 CoRL 2023 最佳系統論文獎決選，並列入 CoRL 2023 最佳論文／最佳學生論文聯合決選名單，被引用 415 次。實作程式碼釋出於 github.com/j96w/MimicPlay，影片則在專案頁面上。

摘要

從人類示範進行模仿學習，是在真實世界中教導機器人操作技能的一種可期的典範。然而，學習複雜的長時程任務，往往需要多到難以取得的示範。為了降低高昂的資料需求，我們轉而使用人類自由操作（play）資料，也就是人們用雙手與環境自由互動的影片序列。即使形態不同，我們假設人類自由操作資料包含豐富且顯著的物理互動資訊，能直接促進機器人策略學習。基於這個動機，我們提出一個名為 MimicPlay 的階層式學習框架，它從人類自由操作資料中學習潛在規劃，用以引導以少量遠端操作示範訓練的低階視覺運動控制。透過在真實世界中對 14 個長時程操作任務的系統性評估，我們證明 MimicPlay 在任務成功率、泛化能力與抗干擾強健性上，都勝過最先進的模仿學習方法。程式碼與影片請見 mimic-play.github.io。

連結

• arXiv 2302.12422: https://arxiv.org/abs/2302.12422
• DOI 10.48550/arXiv.2302.12422: https://doi.org/10.48550/arXiv.2302.12422
• PDF: https://proceedings.mlr.press/v229/wang23a/wang23a.pdf
• 程式碼: https://github.com/j96w/MimicPlay
• 專案頁面: https://mimic-play.github.io/