Learning Vision-Based Bipedal Locomotion for Challenging Terrain

作者: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個在模擬中訓練的 RL 策略，加上一個從深度影像預測高度圖的預測器，讓 Cassie 雙足機器人不需全域里程計或真實世界微調，就能越過方塊、樓梯與 0.5 m 的高階。

為何重要

整套系統在機上執行，不估計全域姿態，這消除了足式機器人一個常見的失效來源，因為它們會頻繁且重重地撞擊地面。作者表示這是以視覺為基礎的雙足行走運動在困難地形上首次的模擬到現實展示，並記錄了哪些訓練選擇是轉移成功所必需的。

問題

雙足機器人的 RL 控制器大多是盲目的，只依賴本體感知，因此無法預先判斷地形，且傾向使用擺動軌跡很高的激進步態。以模型為基礎的感知流程將問題拆成全身控制、落腳點規劃、里程計與地形建圖，而在全域座標系中建立的地圖，會隨著頻繁接觸與激進動作所造成的姿態估計誤差而漂移。

提出的方法

在 MuJoCo 中以 PPO 訓練一個行走運動策略，輸入為相對於機器人浮動基座表示、1.5 m × 1 m、解析度 5 cm 的高度圖；它結合一個預先訓練的 LSTM 盲目策略，以及一個以視覺為基礎、也會調整步態頻率與每條腿相位偏移的調變器。另一個獨立的高度圖預測器（一個 LSTM 階段之後接 U-Net 精修階段）在 30,000 個模擬回合上訓練，將以自我為中心的深度影像歷史與機器人狀態對應到該高度圖。對動力學、扭矩效率、延遲、高度圖雜訊與深度影像雜訊進行領域隨機化，讓兩個網路都能轉移到真實機器人上。

關鍵見解

• 將高度圖表示在機器人的局部座標系中，讓策略不需全域建圖或里程計就能對地形做出反應；在實機上，即使攝影機已看不到底下的地形，策略仍能把擺動腳正確放在該處，作者將此解讀為策略在內部維持了一種里程計。
• 地形取樣的組合（以方塊、脊狀地形與樓梯為主）比加入啟發式獎勵項更能有效形塑出穩健、不激進的步態：樓梯規範步長，脊狀地形規範抬腳高度。
• 沒有腳部碰撞懲罰時，策略在模擬中的成功率相近，卻會把碰撞當成回饋，例如讓一隻腳沿著垂直面往上滑；由此造成的頻繁絆跌使模擬到現實的轉移無法成功。
• 隨機化扭矩效率對 0.5 m 的高階特別重要，因為此時膝關節馬達會飽和。
• 學習而得的步態時脈，以及一個獲得特權輸入（全域腳部位置、每隻腳周圍的高度圖、腳尖測距儀）的評論者網路（critic），都提高了模擬中困難地形設定下的成功率。

主要結果

• 在實機上，Cassie 以最高 1 m/s 的速度越過單一高方塊、樓梯、隨機方塊與 0.5 m 的高階（約為腿長的 60%），並在有人把方塊放上跑步機時維持速度與航向。
• 模擬中的高度圖重建誤差（MAE）：LSTM 2.806 cm，Transformer 4.221 cm，MLP 4.932 cm，不含機器人狀態的 LSTM 4.448 cm。
• 在閉迴路模擬中，所有高度圖預測器的成功率相近，但 LSTM 預測器產生的腳部碰撞回合最少，因碰撞而終止的次數也最少。
• 在機器人上，深度串流以 90 FPS 執行，單是高度圖推論在 Jetson Orin Nano 上就以 200 Hz 執行，預測器與策略之間的端到端延遲實測最高為 20 ms。
• 在模擬消融實驗中（每種地形模式 1000 個回合），沒有學習而得的時脈或沒有特權評論者網路的策略，在困難地形上的成功率明顯較低，而盲目策略表現最差。

限制

• 由於只使用一台朝前的攝影機，在脊狀、樓梯與方塊地形上的速度指令不包括後退與側向行走。
• 以自我為中心的攝影機看不到機器人正下方的地面，因此腳下的地形只能根據策略先前看到的內容來處理。
• 實機結果僅以定性方式呈現（實驗室木塊、樓梯、一台跑步機與投稿影片）；論文未提供真實世界的成功率。
• 訓練與評估地形僅限於五種程序生成的類型：平地、丘陵、方塊、脊狀地形與樓梯。
• 腳部碰撞懲罰只作為軟約束，策略為了避免跌倒可能違反它。

對領域的影響

入圍 IEEE ICRA 2024 認知機器人最佳論文獎決選，被引用 98 次。論文未連結任何已釋出的程式碼、資料或硬體設計。

摘要

用於雙足行走運動的強化學習（RL）近來已展現出僅靠本體感知，就能在中等難度地形上產生穩健的步態。然而，在機器人必須預先判斷並適應局部地形的環境中，這類盲目的控制器會失敗，因為這需要視覺感知。本文提出一套完全以學習建構的系統，讓雙足機器人能對局部地形做出反應，同時維持指令所給定的行進速度與方向。我們的方法先在模擬中，使用以機器人局部座標系表示的高度圖訓練控制器。接著在模擬中蒐集資料，訓練一個高度圖預測器，其輸入為深度影像與機器人狀態的歷史。我們證明，在適當的領域隨機化之下，這個方法不需要明確的姿態估計，也不需要用真實世界資料微調，就能成功完成模擬到現實的轉移。就我們所知，這是以視覺為基礎的雙足行走運動在困難地形上進行模擬到現實學習的第一個例子。

連結

• arXiv 2309.14594: https://arxiv.org/abs/2309.14594
• DOI 10.1109/ICRA57147.2024.10611621: https://doi.org/10.1109/ICRA57147.2024.10611621
• PDF: https://arxiv.org/pdf/2309.14594v2