PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

作者: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個以預測資訊訓練的 128 維深度與本體感覺編碼器，加上一個以 ARS 訓練的小型策略頭：在真實踏腳石上成功率為 100%，ARS 則為 40%。

為何重要

它保留了演化策略的平行性與簡單性，同時縮小了演化策略在以視覺為基礎的控制中的主要障礙，也就是參數搜尋空間的大小。這些策略採用與早期 ARS 研究相同的模擬到現實流程，從 PyBullet 轉移到真實的 Laikago 上，完成踏腳石與室內導航任務。

問題

Augmented Random Search（ARS）等演化策略容易平行化，並在參數空間中探索，但難以擴展到視覺行走運動所需的摺積網路的大量參數。在作者的測試中，以梯度為基礎的替代方法 SAC 與 PI-SAC 在這些任務上沒有取得有意義的進展，而早期的 ARS 視覺行走運動策略在真實踏腳石上的成功率只有 40%。

提出的方法

PI-ARS 將代理人拆成一個編碼器與一個小型策略頭。編碼器把兩張 32×24 的深度影像與本體感覺狀態映射成一個 128 維向量，並在 ARS 原本就會蒐集的軌跡上以梯度下降訓練，以最大化預測資訊，其中結合了預測未來深度觀測的 InfoNCE 項與 RNN 獎勵預測；接著 ARS 只最佳化一個 3 層 MLP 頭，由它向以 MPC 為基礎的低階控制器輸出高階指令。

關鍵見解

• 把表示學習（以梯度為基礎）與策略搜尋（無梯度）分開，可以避開演化策略的擴展問題，同時保有其優點。
• ARS 擾動 rollout 所產生的軌跡會存入重播緩衝區，並重複用來訓練編碼器，因此表示學習不需要額外的環境資料。
• 只靠獎勵預測得到的表示太弱，無法完成任務；需要對比式的未來觀測項。
• 作者認為 ARS 的參數空間探索與穩定性在此至關重要：在 SAC 中加入預測資訊（PI-SAC）並沒有幫助，所以只有好的表示並不夠。

主要結果

• 真實踏腳石（四塊石頭，三個 0.12–0.18 m 的間隙）：PI-ARS 在 10 次試驗中 10 次成功（100%），在相同的訓練與評估設定下，ARS 基準則為 40%。
• 模擬的不平整踏腳石：經過 2,000,000 個訓練回合後，平均回報提高 48.01%，從 2.93 增加到 4.34。
• 在全部四個模擬任務上，PI-ARS 都比 ARS 得到更高的回報與更好的樣本效率：不平整踏腳石、梅花樁、移動平台與室內導航。
• 儘管進行了大量超參數調整，SAC 與 PI-SAC 在這些任務上都沒有取得任何不可忽略的學習進展。
• 真實室內導航：策略抵達了目標，並在兩個障礙物之間找到一條捷徑，但撞上了其中一個障礙物的支臂。
• 訓練時每次 ARS 迭代使用 1024 個擾動並保留最佳的 512 個，最多 4000 次迭代（每次試驗最多 2,048,000 個模擬回合），每種方法進行 30 次試驗。

限制

• 在真實室內導航中，機器人撞上了一個障礙物的支臂，因為它只在箱形的模擬障礙物上訓練過。
• 只測試了室內任務；戶外視覺行走運動留待未來研究。
• 真實踏腳石策略是在模擬地形的較簡單版本上訓練的，其中石頭高度的變化較小。
• 室內導航需要動作擷取系統來追蹤機器人底座的位置，以取得相對目標向量。
• 學到的策略只輸出高階指令，仰賴以 MPC 為基礎的低階控制器來執行。

對領域的影響

入圍 IROS 2022 最佳論文獎與 ABB 最佳學生論文獎決選，被引用 21 次。作者發布了補充影片頁面；論文沒有說明是否釋出程式碼。

摘要

演化策略（Evolution Strategy，ES）演算法憑藉其大規模平行能力、簡單的實作、有效的參數空間探索與快速的訓練時間，在訓練複雜的機器人控制策略方面已展現出可期的成果。然而，ES 的一個主要限制在於難以擴展到大容量模型，包括現代的神經網路架構。在這項研究中，我們開發了 Predictive Information Augmented Random Search（PI-ARS）來減輕這個限制，它利用表示學習的最新進展來縮小 ES 的參數搜尋空間。具體而言，PI-ARS 結合一種以梯度為基礎的表示學習技術——預測資訊（Predictive Information，PI）——與一種無梯度的 ES 演算法——Augmented Random Search（ARS）——來訓練能處理複雜機器人感測輸入並應付高度非線性機器人動力學的策略。我們在一組具挑戰性的視覺行走運動任務上評估 PI-ARS，這些任務中，四足機器人需要在不平整的踏腳石、梅花樁與移動平台上行走，並完成一項室內導航任務。在所有任務中，相較於 ARS 基準，PI-ARS 都展現出明顯更好的學習效率與效能。我們進一步驗證此演算法，證明學到的策略能成功轉移到真實的四足機器人上，例如在真實世界的踏腳石環境中達到 100% 的成功率，大幅改善了先前 40% 成功率的結果。

連結

• arXiv 2207.13224: https://arxiv.org/abs/2207.13224
• DOI 10.1109/IROS47612.2022.9981952: https://doi.org/10.1109/IROS47612.2022.9981952
• PDF: https://arxiv.org/pdf/2207.13224v1
• 專案頁面: https://kuanghuei.github.io/piars