Extreme Parkour with Legged Robots
訓練不到 20 小時、用於足式機器人跑酷的強化學習系統
授權條款
BSD-3-Clause
概述
讓足式機器人執行跑酷動作的強化學習系統，動作包括攀越障礙物、跳過間隙，以及在高難度地形上移動。使用 Isaac Gym 模擬器，訓練時間不到 20 小時。
這項來自 ICRA 2024 的突破性研究，展示了足式機器人如何在極短的訓練時間內，透過強化學習學會複雜的跑酷技能。此系統使用兩階段訓練流程：先訓練基礎策略（8-10 小時），再訓練蒸餾策略。此框架以 Isaac Gym 與 PyTorch 打造，讓機器人能連續執行攀爬、跳躍與跳越動作，而這些動作過去被認為需要大量人工設計。此方法結合 legged_gym 環境與 rsl_rl 強化學習函式庫，同時支援模擬器視覺化，以及供無螢幕系統使用的網頁檢視。模型可以匯出為 JIT 追蹤版本，部署在邊緣裝置上，使這項技術能實際用於真實世界的應用。
為何重要
Extreme Parkour 證明強化學習可以教會足式機器人執行媲美受過訓練之動物的敏捷動作。此系統在不到 20 小時的訓練中學會了攀爬、跳躍與爬過障礙物，是足式機器人敏捷性的一大突破。
解決的問題
足式機器人通常只能在平地上行走。此專案證明強化學習可以發掘敏捷的行走運動行為，讓機器人越過極端障礙物，使我們更接近能在任何地形上移動的機器人。
重點
- 足式機器人執行跑酷：攀爬、跳躍、爬過障礙物
- 完全在模擬中以強化學習訓練
- 不到 20 小時的訓練即可達成極限動作
- 以零樣本方式成功轉移到真實的 Unitree 機器人
- 沒有預先編寫的步態：所有行為皆以端對端方式學習
適用對象
- 足式行走運動研究人員
- 開發敏捷四足機器人控制器的團隊
- 研究複雜運動控制的強化學習研究人員
- 打造用於崎嶇地形部署之機器人的公司
限制
- 訓練需要特定的模擬環境配置
- 真實世界轉移僅限於特定的 Unitree 機器人硬體
- 極限動作可能造成硬體磨損或損壞
- 目前的方法是針對特定任務，而非通用