Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

作者: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

授權條款

• 開放取用
• 論文: CC0 1.0 Universal

以下內容皆依據作者依 CC0 1.0 Universal 發布的論文全文；圖表已標示作者。

一句話摘要

FISH 在一個固定的開迴路或最近鄰基礎策略上加入一個學習而得的殘差，以與 1–3 個示範的最佳傳輸匹配作為獎勵，並在 ≤20 分鐘內適應沒見過的物體位置。

為何重要

唯一的任務輸入是不到一分鐘的示範：不需要狀態估測、手工建立的獎勵或大型示範集，線上訓練也以 20 分鐘為上限。由於只學習殘差，探索可以限制在選定的動作維度上，作者證明這避免了 ROT 在 Allegro Hand 上探索所有維度時出現的不安全手指碰撞與姿態。

問題

視覺模仿策略需要大量示範來涵蓋物體位置等變化；論文引用的數字是 MIME 每個任務 400 個示範，robomimic 則為 200 個。以線上 RL 調整離線策略可以降低這項需求，但 RL 需要獎勵，而當物體狀態無法估測時，很難建立針對特定任務的獎勵。

提出的方法

FISH 分兩個階段運作。首先，把一個弱的非參數化基礎策略（開迴路重播或 VINN 最近鄰檢索）擬合到約一分鐘的示範（1–3 條軌跡）。接著，一個以 n 步 DDPG 訓練的殘差策略，為基礎動作加上修正偏移量，其獎勵來自機器人攝影機觀測與示範之間的 Sinkhorn 最佳傳輸匹配，並以一個取自行為複製的凍結編碼器計算。

關鍵見解

• 維持基礎策略固定、只學習殘差偏移量，在表 I 的每個任務上都勝過線上微調 BC 策略（ROT）。
• 在這種資料量少的情況下，非參數化的基礎策略（VINN、開迴路）比參數化的 BC 效果更好；BC 在 Allegro Hand 的 16 維動作空間上表現很差。
• 在少量領域內示範上以行為複製訓練的編碼器，比在大量領域外資料上預先訓練的 ImageNet、R3M 或 MVP 編碼器效果更好。
• 凍結編碼器（讓 OT 獎勵維持穩定）與以基礎動作為條件學習殘差兩者都不可少；拿掉任何一項都會降低成功率（表 V）。
• 把殘差探索限制在選定的動作軸上提升了樣本效率，而自適應地把偏移量往零正規化則損害了效能。

主要結果

• 在 3 台機器人上的 9 個真實世界任務中，平均成功率為 93%，約為先前方法的 3.8 倍（摘要）；引言則把同一個數字寫成在 20 分鐘線上互動下「成功率提高 93%」。
• 表 I：開門、開抽屜與切換電燈開關（Stretch，各 5 次試驗），以及翻轉方塊與旋轉瓶蓋（Allegro Hand）上為 1.0；拿起美元鈔票為 0.8，插銷入杯與翻轉貝果為 0.9，插入鑰匙為 0.8（各 10 次試驗）。
• 表 I 中任何單一任務上最好的基準方法最多只達到 0.6（ROT 在切換電燈開關與插入鑰匙上）；在開門、開抽屜、翻轉方塊與旋轉瓶蓋上，沒有任何基準方法超過 0.2。
• 不使用自適應偏移量正規化時，翻轉貝果的成功率為 0.9，拿起美元鈔票為 0.8，使用時則分別為 0.4 與 0.4（表 II）。
• 把 BC 編碼器換成預先訓練的編碼器後，翻轉貝果從 0.9 降到 0.0（ImageNet）、0.0（R3M）與 0.3（MVP），拿起美元鈔票則從 0.8 降到 0.0、0.1 與 0.0（表 IV）。
• 在新物體上經過 5 分鐘線上學習後，麵包類的成功率介於 0.9 到 0.0，鈔票與卡片類介於 0.8 到 0.0；一片軟的扁麵包與一個厚錢包完全失敗（圖 8）。

限制

• OT 獎勵讓機器人向示範對齊，因此此方法仰賴示範者是專家（作者所述）。
• 只用視覺輸入，讓視覺訊號微弱的精密任務變得困難，例如尋找只佔影像極小部分的鑰匙孔；作者建議使用觸覺感測（作者所述）。
• 殘差策略是隨機初始化的；作者指出，預先訓練它可能有助於需要更精確控制的較難任務（作者所述）。
• 物體與示範中的物體差異愈大，成功率就愈低，在扁麵包與錢包上甚至完全失敗。
• 每個任務在 10 個物體位置（xArm、Allegro Hand）或 5 個機器人初始狀態（Stretch）上評估。

對領域的影響

獲得 RSS 2023 最佳學生論文獎，被引用 113 次。作者透過 fast-imitation.github.io 釋出程式碼與機器人影片，專案頁面也連結到程式碼儲存庫。

摘要

雖然模仿學習為我們提供了一套訓練機器人的高效工具，但學習能承受環境變化的強健技能仍是一大挑戰。現有方法因應這項挑戰的方式，不是仰賴涵蓋各種環境變化的大量示範，就是仰賴需要狀態估測的手工設計獎勵函數。這兩個方向都無法擴展到快速模仿。在這項研究中，我們提出 Fast Imitation of Skills from Humans（FISH），一種新的模仿學習方法，只需不到一分鐘的人類示範，就能學到強健的視覺技能。給定一個以離線模仿示範訓練而成的弱基礎策略，FISH 會計算對應於機器人行為與示範之間「吻合」程度的獎勵。接著用這些獎勵自適應地更新一個疊加在基礎策略上的殘差策略。在所有任務中，FISH 最多只需要二十分鐘的互動學習，就能在示範中沒出現過的物體配置上模仿示範。重要的是，FISH 的設計具備通用性，因此能用於各種機器人形態（例如 xArm、Allegro、Stretch）與攝影機配置（例如第三人稱視角、手上攝影機）。我們在 9 個不同任務上的實驗評估顯示，FISH 達到 93% 的平均成功率，約為先前最先進方法的 3.8 倍。

連結

• arXiv 2303.01497: https://arxiv.org/abs/2303.01497
• DOI 10.48550/arXiv.2303.01497: https://doi.org/10.48550/arXiv.2303.01497
• PDF: https://arxiv.org/pdf/2303.01497v1
• 程式碼: https://github.com/siddhanthaldar/FISH
• 專案頁面: https://fast-imitation.github.io/