HoloMotion
人形機器人全身控制的基礎模型,涵蓋從動作資料到 ROS2 部署的流程
授權條款
Apache-2.0
概述
HoloMotion 是地平線機器人(Horizon Robotics)推出的人形機器人基礎模型,旨在實現穩健、即時且具泛化能力的全身控制。這個框架提供端對端的解決方案,涵蓋從人體動作捕捉進行資料整理、透過 GMR 將 SMPL 資料動作重定向至機器人運動學、在 NVIDIA Isaac Lab 中進行分散式 PPO 訓練、以 MuJoCo 為基礎的評估與 sim2sim 驗證、ONNX 模型匯出,以及透過 ROS2 順暢部署到實體 Unitree G1 硬體。專案目前支援具有 29 個自由度(12 個腿部關節、3 個腰部關節、14 個手臂關節)的 Unitree G1 機器人,並以兩種控制模式運作:用於重播參考動作的動作追蹤,以及用於搖桿控制行走運動的速度追蹤。其模組化架構支援在從動作捕捉資料到真實世界機器人控制的整條流程中靈活調整。
HoloMotion 為人形機器人全身控制提供完整的端對端流程:
1. 資料整理:用於取得並處理大規模動作資料集的工具,資料來源包括 AMASS、HumanAct12、MotionX 與 OMOMO,並將其轉換為相容 AMASS 的 SMPL 格式,同時進行篩選以控管品質。也支援透過 GVHMR 從單目 RGB 影片生成動作資料。
2. 動作重定向:利用 GMR(General Motion Retargeting)將人體動作捕捉資料轉換為特定機器人的運動學軌跡,產生經過最佳化、供分散式訓練使用的 HDF5 資料集。
3. 模型訓練:以 NVIDIA Isaac Lab 作為模擬環境的分散式 PPO 訓練框架。支援多 GPU 訓練,具備觀測正規化、領域隨機化、課程學習與可設定的獎勵函數。策略網路採用 MLP 架構,並使用分開的 actor-critic 網路。
4. 評估:離線評估流程,具備量化指標、以 MuJoCo 為基礎的視覺化,以及部署到真實硬體前的 sim2sim 驗證。
5. 真實世界部署:以 ROS2 為基礎的部署套件,支援筆電/桌上型電腦部署,以及在機器人上以 NVIDIA Jetson Orin Docker 部署到 Unitree G1 人形機器人。訓練好的 PyTorch 策略會匯出為 ONNX 格式,以進行有效率的推論。
專案路線圖規劃了四個主要能力里程碑:Any Pose(v1.0,已達成)、Any Command(v2.0)、Any Terrain(v3.0)與 Any Embodiment(v4.0)。
為何重要
HoloMotion 是最早專為人形機器人全身控制設計的開源端對端基礎模型框架之一。許多研究專案專注於個別元件(行走運動、操作或動作生成),HoloMotion 則提供從人體動作捕捉資料到真實世界機器人部署的完整流程。它提供一個可重現、模組化且可擴充的平台,大幅降低了人形機器人研究人員與開發者的門檻。
解決的問題
為人形機器人建構全身控制策略,需要橫跨多個彼此脫節之領域的專業知識:動作捕捉處理、運動學重定向、強化學習、模擬與硬體部署。HoloMotion 將這些整合成單一的模組化框架,讓研究人員無需從頭打造每個元件,就能訓練、評估並部署人形機器人動作策略。
重點
- 從人體動作資料到透過 ROS2 部署至真實世界人形機器人的端對端流程
- 在 NVIDIA Isaac Lab 中以 MLP actor-critic 架構進行分散式 PPO 訓練
- 支援 Unitree G1 人形機器人,腿部、腰部與手臂共 29 個自由度
- 透過 GMR 將 SMPL/SMPLX 人體動作捕捉資料動作重定向至機器人運動學
- 兩種運作模式:動作追蹤與速度追蹤(搖桿控制行走運動)
- ONNX 模型匯出,可在桌上型電腦與嵌入式平台(Jetson Orin)上推論
- 支援使用 GVHMR 的影片轉動作流程,從單目 RGB 影片取得訓練資料
- 持續推進的路線圖:Any Pose(已完成)、Any Command、Any Terrain、Any Embodiment
- 在真實世界部署前以 MuJoCo 進行 sim2sim 驗證
適用對象
- 從事人形機器人行走運動的機器人研究人員
- 專注於模擬到現實(sim-to-real)轉移的強化學習工程師
- 使用 Unitree G1 的人形機器人開發者
- 動作捕捉與動作重定向研究人員
- 研究具身 AI 與基礎模型的研究生
限制
- 目前僅支援 Unitree G1 機器人(29 個自由度)
- 沒有提供預訓練權重,需要以大量 GPU 資源從頭訓練
- 訓練需要搭配 CUDA GPU 的 NVIDIA Isaac Lab
- 尚未發表研究論文(README 中為 arxiv 預留位置)
- 跨形態泛化尚未實作(路線圖 v4.0)
- SMPL 模型需要另行註冊與下載