Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning
作者: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
DWL 在 Isaac Gym 中訓練一個人形機器人行走策略，學習從帶雜訊的本體感知重建完整的機器人狀態，接著不經修改就在真實的 XBot 機器人上走過樓梯、斜坡與雪地。
為何重要
同一個策略只使用關節讀數、IMU 資料、時脈訊號與速度指令，不用相機或 LiDAR，就以零樣本方式轉移到兩種尺寸的人形機器人上，並能應付樓梯、斜坡、不規則塊體、雪地、額外負重與推擠。對足式機器人工程師而言，它提供了一個具體做法：用產生動作的同一個網路來取得狀態估計（基座速度、足部接觸、粗略的地形輪廓）。它也提供了直接比較，顯示主動控制的 2-DoF 踝關節在較困難的地形上很重要。
問題
人形機器人重心高，腿部、軀幹與手臂沉重，且擺腿階段不穩定；作者指出，先前用於人形機器人的真實世界 RL 控制器都侷限於相對簡單的地形。在模擬中訓練的策略也必須應付帶雜訊的感測器、不完美的模擬動力學，以及線速度與接觸力等真實機器人無法量測的量。
提出的方法
去雜訊世界模型學習（DWL）把模擬到現實落差視為真實狀態上的雜訊：訓練時它會遮罩無法觀測的量並施加領域隨機化，一個 GRU 編碼器把觀測歷史壓縮成 24 維的潛在變數，解碼器必須從中重建完整狀態，包括基座速度、摩擦、足部接觸與地形高度掃描。行動者（actor）依據該潛在變數輸出動作，並以 PPO 訓練，而非對稱的評論者（critic）能看到完整狀態，去雜訊、策略與價值損失會一起最佳化。此策略透過封閉運動鏈主動控制兩個踝關節自由度，而五次多項式的足部軌跡則為柔和的足部接觸提供稠密獎勵。
關鍵見解
- 把模擬到現實落差建模為環境、動力學、感測與遮罩雜訊，並訓練一個編碼器-解碼器來去除它，讓策略內建了狀態估計器。
- 單靠本體感知，潛在狀態就含有足夠資訊來還原粗略的地形高度輪廓、足部接觸與基座速度，而且當機器人從斜坡走到樓梯時，步態會隨之改變。
- 透過封閉運動鏈主動控制兩個踝關節 DoF，在不規則地形與樓梯上具有決定性作用；Isaac Gym 無法建模封閉鏈，因此改為模擬兩個虛擬馬達，再把其目標值重新對應到真實馬達上。
- 沿著規劃好的五次多項式擺動軌跡獎勵足部速度追蹤，而不只依賴稀疏的接觸力，能在每一步提供獎勵訊號，並鼓勵輕柔落地。
主要結果
- 在 XBot-S 上，DWL 在斜坡、上樓梯、下樓梯與不規則地形上的成功率皆為 100%；具踝關節控制的 PPO 分別為 80%、20%、60% 與 20%，採用被動踝關節的 DWL 則為 80%、20%、100% 與 40%。
- 在背包中逐步加重到 15 kg（超過其體重的三分之一）時，機器人仍持續行走；它能帶著最多 20 kg 的額外負重行走，並能推動一台載有 60 kg 的推車。
- 在 MuJoCo 模擬到模擬測試中，60 s 內的前進速度估計 MSE 為 0.046，尤拉偏航角估計 MSE 為 0.074；在真實機器人上，IMU 漂移降低了約 87%。
- 一個以 100 Hz 執行、搭配 500 Hz PD 迴路的策略，以零樣本方式轉移到 XBot-S（1.2 m，38 kg）與 XBot-L（1.65 m，57 kg），包括在水泥、磚地、泥土與雪地上的戶外行走。
- DWL 的行動者約有 320,192 個可訓練參數，訓練時使用了 12,288 個平行模擬環境。
限制
- 此策略不使用視覺輸入；作者把加入視覺資訊以在挑戰性地形上導航留待未來研究。
- 作者表示，從本體感知精確預測地形形狀仍然很困難；只能還原粗略的輪廓。
- 真實狀態無法在真實機器人上量測，因此速度與偏航估計的準確度是在 MuJoCo 模擬到模擬轉移中檢驗，而非在硬體上。
- 基準比較只在手臂保持不動的 XBot-S 上進行，論文也未說明每個成功率是根據多少次試驗。
- 只控制腿部：整個研究期間手臂馬達都保持靜止。
對領域的影響
入圍 RSS 2024 傑出論文獎決選，被引用 152 次。論文在附錄中公布了完整的網路架構、獎勵項、領域隨機化範圍與超參數，但未說明是否釋出程式碼、模型或硬體設計。
摘要
人形機器人具有類似人類的骨骼結構，特別適合在以人為中心的環境中執行任務。然而，這種結構也為行走運動控制器的設計帶來額外挑戰，尤其是在複雜的真實世界環境中。因此，無論採用以模型為基礎的控制或無模型強化學習，現有的人形機器人都侷限於相對簡單的地形。在本研究中，我們提出去雜訊世界模型學習（Denoising World Model Learning，DWL），這是一個用於人形機器人行走運動控制的端對端強化學習框架，展示了世界上第一台能駕馭真實世界挑戰性地形的人形機器人，這些地形包括野外的雪地與斜坡、上下樓梯，以及極度不平整的地形。所有情境都執行同一個學習而得的神經網路，並達成零樣本的模擬到現實轉移，顯示所提方法具有優異的強健性與泛化能力。
連結
- arXiv 2408.14472: https://arxiv.org/abs/2408.14472
- DOI 10.15607/rss.2024.xx.058: https://doi.org/10.15607/rss.2024.xx.058
- PDF: https://arxiv.org/pdf/2408.14472v1