Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning

作者: Kun Huang, Edward S. Hu, Dinesh Jayaraman · CoRL 2022

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

LIRF 訓練第二個策略，讓它對任務結果動手（拉門、戳塔、扭閥門）以分辨成功與失敗，並把它的判定當作任務策略的獎勵。

為何重要

任務設定仍然只需要成功範例，不需要示範、人工設計的獎勵或額外的感測器，但在成功與否無法從畫面看出時依然有效。學到的檢查也能在部署時重複使用，找出未完成的執行，並讓任務策略再試一次。

問題

範例獎勵方法以成功結果的影像來設定任務，但許多結果無法從被動的影像判斷：鬆掉的瓶蓋看起來和鎖緊的一樣，門閂也可能藏在門後。這種狀態混疊讓以影像為基礎的成功分類器在部分可觀測任務中失效。

提出的方法

機器人會拿到一些實體的「可操作」成功範例，接著以 SAC 訓練一個互動式獎勵函數（IRF）策略，讓它對這些範例，以及由一個以 VICE 訓練的初始任務策略所產生的失敗結果動手，好讓之後單一觀測的分類器能把它們區分開來。IRF 的判定成為訓練最終任務策略的終端獎勵，同一個 IRF 也能在執行後以「執行-驗證」迴圈運作，直到它判定任務完成為止。

關鍵見解

• 互動可以揭露隱藏的任務成功與否：學到的 IRF 會拉門、戳塔底部的積木，或對閥門施加一個小的逆時針扭矩。
• 以單一觀測為依據的分類器會受到狀態混疊的影響，這就是 VICE 與 GAIfO 在這些部分可觀測任務上表現不佳的原因。
• 在互動之後對一個觀測套用分類器，就足以標記結果；不需要針對整條 IRF 軌跡的分類器。
• IRF 不使用任何特權資訊，因此訓練後可以作為迴路中的驗證器。
• 學到的 IRF 與手動編寫的互動式檢查（Manual IRF）相當或更好。

主要結果

• LIRF / LIRF+Verify 的任務成功率（表 1）：鎖門 0.640 / 0.958，積木堆疊 0.846 / 0.884，真實機器人鎖螺絲 0.82 / 0.99。
• VICE 在同樣三個任務上分別為 0.032、0.310 與 0.02，GAIfO 為 0.112、0.275 與 0.0。
• 真值狀態獎勵得到 0.714（門）、0.956（積木）與 0.87（鎖螺絲）：LIRF+Verify 在鎖門與鎖螺絲上勝過它，在積木堆疊上則否，儘管內文稱 LIRF+Verify 勝過所有基準方法。
• IRF 成功分類準確率：鎖門 0.992 ± 0.006，積木堆疊 0.852 ± 0.023，鎖螺絲 0.98（表 2）。
• 所需的可操作正向範例數：鎖螺絲 1 個，鎖門 110 個，積木堆疊 7k 個。
• 訓練所需：鎖門與堆疊的 LIRF 策略約 2M 個模擬步，鎖螺絲 50k 步（在真實機器人上約 10 小時），每個 IRF 策略約 20k 步。

限制

• 當以單張影像獎勵訓練的任務策略大多數時候都會失敗時，LIRF 的幫助最大；在完全可觀測的設定中，IRF 的好處很小或沒有（作者所述）。
• 正向範例必須以實物保存並呈現給機器人；這對鎖螺絲（1 個範例）很容易，對積木堆疊（7k 個）則很麻煩（作者所述）。
• 在兩個模擬任務中，觀測都是「模仿完美視覺」（物體與機器人的姿態），而非攝影機影像。
• 真實機器人測試只有一個轉閥門任務，螺絲鎖緊是以閥門下方的馬達來模擬。

對領域的影響

獲得 CoRL 2022 最佳論文獎，被引用 6 次。論文表示所有程式碼與環境都將釋出，官方專案頁面也連結到一個公開的程式碼儲存庫。

摘要

實體互動常常有助於揭露不易察覺的資訊。例如，我們可能會拉一拉桌腳來評估它是否組裝得牢固，或把水瓶倒過來檢查它是否密封。我們提出訓練機器人自動習得這類互動行為，目的是評估一次機器人技能執行嘗試的結果。這些評估接著又能作為「互動式獎勵函數」（interactive reward functions，IRFs），用來訓練執行目標技能（例如把桌腳鎖緊）的強化學習策略。此外，即使任務策略已完全訓練好，IRF 仍可作為驗證機制，改善線上的任務執行。對任何給定的任務，我們的 IRF 都能只用成功結果的範例方便地訓練，之後訓練任務策略也不需要再做任何設定。在模擬中的鎖門與加重積木堆疊任務，以及真實機器人上的鎖緊螺絲任務的評估中，IRF 帶來了大幅的效能提升，甚至勝過能使用示範或精心設計之獎勵的基準方法。專案網站：https://sites.google.com/view/lirf-corl-2022/

連結

• arXiv 2212.08961: https://arxiv.org/abs/2212.08961
• DOI 10.48550/arXiv.2212.08961: https://doi.org/10.48550/arXiv.2212.08961
• PDF: https://proceedings.mlr.press/v205/huang23a/huang23a.pdf
• 程式碼: https://github.com/penn-pal-lab/lirf_public
• 專案頁面: https://sites.google.com/view/lirf-corl-2022/