Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

作者: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

從 4.5 s 德國牧羊犬動作擷取中以對抗方式學得的風格獎勵，取代了人工設計的獎勵，並轉移到真實的 A1 四足機器人上，運輸成本更低。

為何重要

在從模擬到真實的腿式運動中，獎勵調校占了工程工作的很大一部分。論文顯示，在真實的四足機器人上，幾秒鐘的參考動作就能取代一個含 13 項、人工設計的風格獎勵，同時策略仍會視需要偏離這些片段，以追蹤指令速度，並隨速度改變步態。

問題

以未充分指定的獎勵訓練的腿式運動強化學習代理，常學到肢體亂甩、腿部振動或高衝量接觸等行為，這些行為鑽了模擬器不準確之處的漏洞，無法在真實機器人上執行。常見的補救方式是一個複雜的人工設計風格獎勵，它需要大量領域知識與細膩的調校，而且往往只適用於某一個平台與任務。

提出的方法

作者改寫來自電腦圖學的對抗運動先驗（AMP）：一個以最小平方 GAN 目標與梯度懲罰訓練的判別器，學習區分動作擷取資料集中的狀態轉移與策略產生的狀態轉移，其輸出成為風格獎勵，並與速度追蹤任務獎勵相加（權重為 0.65 與 0.35）。總長 4.5 秒的德國牧羊犬片段以逆運動學重新對應到 A1 機器人上，而策略（以 30 Hz 輸出目標關節角度，由 PD 控制器追蹤）在 5,280 個 Isaac Gym 環境中搭配領域隨機化以 PPO 訓練，再部署到硬體上。

關鍵見解

從 4.5 s 動作擷取中以對抗方式學得的風格獎勵，可以取代一個含 13 項、人工設計的風格獎勵，並仍能得到可部署在真實四足機器人上的策略。
由於判別器是對狀態轉移評分，而非追蹤某個特定片段，策略能遵循參考資料中沒有出現的速度指令。
以運動先驗訓練的策略會隨指令速度改變步態（0.8 m/s 時為同側步，1.7 m/s 時為小跑，指令從 1 m/s 升到 2 m/s 時從同側步切換為慢跑），作者將此與動物降低能量消耗的方式聯繫起來。
沒有風格獎勵時，策略會以高速與大扭矩振動雙腳，利用不準確的模擬器動力學；它能良好地追蹤速度，但動作太過劇烈，無法在真實機器人上執行。
作者將較低的運輸成本歸因於狗的動作資料中原本就有的節能策略。

主要結果

模擬中的機械運輸成本（Table II），在 0.4、0.8、1.2 與 1.6 m/s 的指令速度下：AMP 獎勵為 1.07、0.93、1.02 與 1.12，複雜風格獎勵為 1.54、1.37、1.40 與 1.41。正文給出的複雜獎勵範圍為 1.37 到 1.65，與表中最高值 1.54 不符。
沒有風格獎勵時，在同樣四個速度下的運輸成本為 14.03、8.00、6.05 與 5.18，原因是扭矩與馬達速度很高。
指令為 0.4/0.8/1.2/1.6 m/s 時量測到的前進速度：AMP 為 0.36/0.77/1.11/1.52 m/s，複雜獎勵為 0.41/0.88/1.28/1.67 m/s，無風格獎勵為 0.42/0.82/1.22/1.61 m/s。
訓練在單張 Tesla V100 GPU 上以 16 小時完成 40 億個環境步（約 4.2 年的模擬資料）。
在真實的 A1 上，AMP 策略追蹤了正弦變化的線速度與角速度指令，沿著一條有急轉彎的路線行進，並在指令從 1 m/s 升到 2 m/s 時從同側步切換為慢跑。

限制

論文沒有限制章節。其真實機器人評估是定性的（步態圖、速度軌跡、運輸成本圖與一個路線跟隨範例），沒有在硬體上量測的成功率或能耗表格。
Table II 中所有運輸成本與速度追蹤的數字都來自模擬。
參考資料是單一隻德國牧羊犬的 4.5 s 動作（同側步、小跑、慢跑與原地轉身），只重新對應到一個機器人 A1 上；沒有測試其他機器人或技能。
在模擬中，AMP 策略在每個測試的指令下，前進速度都略低於指令值（例如 1.6 m/s 指令下為 1.52 m/s）。

對領域的影響

入圍 IROS 2022 最佳論文獎與 ABB 最佳學生論文獎，被引用 210 次。論文指向一個附有影片的專案頁面與專案儲存庫，後者連結到程式碼 github.com/Alescontrela/AMP_for_hardware。

摘要

以未充分指定的獎勵函數訓練高維度的模擬代理，常會讓代理學到物理上不可行的策略，而這些策略在部署到真實世界時並不有效。為了減少這些不自然的行為，強化學習的實務工作者常使用複雜的獎勵函數來鼓勵物理上合理的行為。然而，建立人工設計的獎勵通常需要繁瑣、耗費人力的調校過程，而且這些獎勵可能不易在不同平台與任務之間推廣。我們提出以從動作擷取示範資料集中學得的「風格獎勵」來取代複雜的獎勵函數。學得的風格獎勵可以與任意的任務獎勵結合，訓練出以自然的策略完成任務的策略。這些自然的策略也有助於轉移到真實世界。我們以對抗運動先驗（Adversarial Motion Priors）為基礎——這是一種來自電腦圖學領域、從參考動作資料集中編碼風格獎勵的方法——來證明以對抗方式訓練策略，能產生可轉移到真實四足機器人上的行為，而不需要複雜的獎勵函數。我們也證明，能從一隻德國牧羊犬身上蒐集的幾秒鐘動作擷取資料學到有效的風格獎勵，並由此得到具有自然步態轉換的節能運動策略。

連結

arXiv 2203.15103: https://arxiv.org/abs/2203.15103
DOI 10.1109/IROS47612.2022.9981973: https://doi.org/10.1109/IROS47612.2022.9981973
PDF: https://arxiv.org/pdf/2203.15103v1
程式碼: https://github.com/escontra/AMP_for_hardware
專案頁面: https://sites.google.com/berkeley.edu/amp-in-real/home