Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks

作者: Soroush Nasiriany, Huihan Liu, Yuke Zhu · ICRA 2022

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個強化學習（RL）代理人在手工撰寫的到達、抓取、推動與釋放基元或原始馬達動作之間做選擇，並設定其參數，藉此減輕長時程操作中的探索負擔。

為何重要

機器人學已有可靠的抓取與到達模組，本研究顯示通用的強化學習（RL）演算法可以學會為它們排序，而不需要手寫任務規劃。由於策略是透過基元來行動，在硬體上重新實作基元後，同一個策略就能從模擬轉移到實體機器人。

問題

深度強化學習難以處理長時程操作，因為機器人必須探索極為龐大的低階馬達動作空間。從頭學習技能的階層式強化學習（RL）方法需要大量樣本，而任務與運動規劃以及神經程式設計，則依賴領域知識或人工監督來組合預先建好的模組。

提出的方法

MAPLE 將控制表述為參數化動作的 MDP：每一步由高階任務策略選擇一個基元（到達、抓取、推動、夾爪釋放或單一原子動作），再由各基元的參數子網路設定其輸入，例如目標位置與偏擺角。兩者都以修改過的 Soft Actor-Critic 訓練，並在獎勵中加入解析式的可供性分數，引導基元參數朝向相關物體。保留原子動作讓代理人能處理基元無法表達的階段，例如接觸密集的插入。

關鍵見解

先選擇基元再選擇其參數的階層式策略，勝過獨立取樣類型與參數的扁平策略
Peg Insertion 任務必須保留原子基元：去掉它的版本成功率為 0%，而 MAPLE 達到 100%
沒有可供性獎勵，或沒有到達或抓取基元時，代理人無法解決 Pick and Place
以所學基元序列的 Levenshtein 距離計算的組合性分數，在接觸密集任務上（Peg Insertion 0.24、Wipe 0.67）低於抓握類任務（Lift 與 Door 為 1.0）
學得的任務草圖可以在相似任務上重複使用，如此只需學習基元參數

主要結果

八個模擬任務的平均最終成功率：MAPLE 90%、Atomic SAC 19%、Flat 36%、Open Loop 41%、DAC 11%、不含原子動作的 MAPLE 79%
相對於 Atomic 基準的提升，在引言中表述為增加 70%，在結果章節中表述為成功率高 71%、獎勵高 2-3×
論文稱 MAPLE 是唯一能穩定解決標準 robosuite 基準中所有單臂任務的方法
將 Pick and Place 汽水罐的任務草圖轉移到麵包變體時，學習目標任務的速度比從頭訓練快 5× 以上
每個任務 30 次試驗的真實世界成功率：Stack 為 93%（模擬中 97%），Cleanup 為 83%（模擬中 93%）
HIRO 未能取得進展，因此沒有列入結果

限制

作者指出，原子動作能填補小缺口，但無法填補需要大量低階動作的大缺口，而且在探索與信用分配上還需要更多研究
可供性分數是依物體狀態人工定義的；作者將學習而得的可供性列為未來工作
Wipe 依然困難：MAPLE 在此任務上的成功率為 42%
在真實世界測試中，物體的俯仰、偏擺與桌面高度是寫死的，以避開姿態估測誤差，而遮蔽則需要一個先抬起再重新估測的程序
真實世界的失敗主要來自反覆的不良抓取，或機器人碰到關節極限而觸發安全停止

對領域的影響

獲得 ICRA 2022 傑出學習論文獎，被引用 155 次。作者在專案頁面釋出了程式碼與影片。

摘要

真實的操作任務需要機器人以一長串馬達動作與環境互動。雖然深度強化學習方法近來已成為自動化操作行為的一種有前景的範式，但由於探索負擔，它們在長時程任務上通常力有未逮。本研究提出 MAnipulation Primitive-augmented reinforcement LEarning（MAPLE），這是一個以預先定義的行為基元庫來增強標準強化學習演算法的學習框架。這些行為基元是專門用於達成抓取、推動等操作目標的強健功能模組。為了使用這些異質基元，我們開發了一種階層式策略，它會調用基元，並以輸入參數實例化其執行。我們展示在一組模擬操作任務上，MAPLE 以顯著差距勝過基準方法。我們也量化了所學行為的組合結構，並突顯本方法將策略轉移到新任務變體與實體硬體上的能力。影片與程式碼請見 https://ut-austin-rpl.github.io/maple

連結

arXiv 2110.03655: https://arxiv.org/abs/2110.03655
DOI 10.48550/arXiv.2110.03655: https://doi.org/10.48550/arXiv.2110.03655
PDF: https://arxiv.org/pdf/2110.03655v1
專案頁面: https://ut-austin-rpl.github.io/maple