XIRL: Cross-embodiment Inverse Reinforcement Learning

作者: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

從不同具身形態的示範者影片中學得的時間循環一致性嵌入，提供一個目標距離獎勵，用來在未見過的具身形態上訓練 RL 策略。

為何重要

這個獎勵只需要影片：不需要動作標籤、不需要成對影格，除了一台相機之外也不需要在環境中加裝儀器。在論文的實驗中，同一個學得的獎勵訓練了身體不在示範集裡的代理，而這正是用人類影片教導機器人時的情況。

問題

機器人可以從第三人稱影片（例如人類示範任務的影片）中學習任務，但示範者的身體與機器人不同，因此各自以不同的策略與軌跡完成任務。早期的獎勵學習方法需要參考軌跡、時間索引對齊，或示範者與學習者之間由人工標註的影格對應。

提出的方法

XIRL 在匯集自多種具身形態、只含觀測的影片上，以時間循環一致性（TCC）訓練一個 ResNet-18 影像編碼器，不使用具身形態標籤。獎勵是目前影格的嵌入與示範最後一個影格的平均嵌入之間、經溫度縮放的負平方距離再取 sigmoid，並以此獎勵為新的具身形態訓練一個 Soft Actor-Critic 策略。

關鍵見解

TCC 嵌入編碼了任務進度，因此到單一目標嵌入的距離就能提供稠密獎勵，不需要參考軌跡或時間索引對齊。
在示範總數固定為 1000 的情況下，匯集更多具身形態的示範，能加快在保留的具身形態上的 RL。
不同的身體解決同一任務的方式差異很大：在 X-MAGICAL 中，平均示範長度從 48.0 步（long-stick）到 110.8 步（gripper）不等。
學得的獎勵會為部分進展給予部分獎勵，例如在撞上抽屜之前朝它移動，而此時稀疏的環境獎勵仍然是零。

主要結果

同具身的 X-MAGICAL 清掃任務：XIRL 的樣本效率至少與其他學得的獎勵相當，並在 4 種具身形態中的 3 種上比環境獎勵更具樣本效率。
跨具身，4 個代理每次保留一個，編碼器以其餘 3 個訓練：XIRL 對新代理的推廣顯著優於 TCN、LIFS 與目標分類器獎勵（5 個隨機種子，各 50 個評估回合）。
以 RLV 資料集中的真實人類影片訓練一支模擬的 Sawyer 手臂推動方塊：XIRL 加上稀疏獎勵，比 RLV 以及單獨使用稀疏獎勵更具樣本效率，且獎勵學習中不使用成對影格標籤或機器人領域資料。
X-REAL：9 種末端執行器（人手、滑雪手套、廚房夾、龍蝦手造型服、鑷子、夾鉗、一支取物夾）把五支筆放進兩個杯子的 93 段真實影片；對 One Hand 5 Fingers 而言，一次未完成的嘗試所得的獎勵約為成功嘗試的一半。
X-MAGICAL 基準：4 種模擬具身形態，各有 1000 次專家示範。

限制

沒有在真實機器人上訓練任何策略；作者表示他們尚未在真實機器人上展示策略學習。
X-MAGICAL 是建構在 PyMunk 上的 2D 清掃任務，作者形容它是真實世界情境的高度簡化版本。
示範只包含成功的軌跡，因此推廣能力不佳的編碼器可能定義出與預期不同的任務；論文建議將學得的獎勵與稀疏的任務獎勵結合。
在 X-REAL 真實世界資料集上，論文只呈現學得的獎勵曲線，沒有呈現策略學習。
多數結果以學習曲線而非成功率表格呈現，因此報告的精確數字很少。

對領域的影響

入圍 CoRL 2021 最佳論文獎，所列引用數為 182。論文提出 X-MAGICAL 基準與 X-REAL 資料集；經授權的 v1 版本表示程式碼與資料集將會公開，但沒有提供連結。

摘要

我們研究視覺跨具身模仿的設定：代理從其他代理（例如人類）示範同一任務的影片中學習策略，但這些代理在具身形態上有顯著差異——形狀、動作、末端執行器動力學等。在本研究中，我們證明能夠從跨具身示範影片中，自動發現並學習對這些差異具強健性、以視覺為基礎的獎勵函數。具體而言，我們提出一種自監督的跨具身逆強化學習方法（Cross-embodiment Inverse Reinforcement Learning，XIRL），它利用時間循環一致性約束，從多個專家代理的離線示範影片中學習能捕捉任務進度的深度視覺嵌入，而這些代理因具身差異，各自以不同方式執行同一任務。在我們的研究之前，從自監督嵌入產生獎勵通常需要與一條參考軌跡對齊，而參考軌跡可能難以取得。我們以實驗顯示，如果嵌入能察覺任務進度，那麼只要在學得的嵌入空間中，取目前狀態與目標狀態之間的負距離，就可作為以強化學習訓練策略的有用獎勵。我們發現，學得的獎勵函數不僅適用於訓練中看過的具身形態，也能推廣到全新的具身形態。我們也發現，XIRL 策略比基準更具樣本效率，在某些情況下甚至超過以真實稀疏獎勵訓練的同一代理的樣本效率。

連結

arXiv 2106.03911: https://arxiv.org/abs/2106.03911
DOI 10.48550/arXiv.2106.03911: https://doi.org/10.48550/arXiv.2106.03911
PDF: https://arxiv.org/pdf/2106.03911v1