OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

作者: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

具硬性運動學約束的互動網格重定向，將人類 MoCap 資料轉換成乾淨的人形機器人參考動作；只用 5 個獎勵項的 RL 策略即可零樣本轉移到 Unitree G1。

為何重要

乾淨的參考動作讓作者只用五個獎勵項、四個機器人領域隨機化項，並沿用 BeyondMimic 的超參數不做更動、也不使用課程學習，就訓練出本體感知 RL 策略。工作重點從調整獎勵轉向產生更好的資料，而同一套流程只要更改關鍵點對應與碰撞模型，就能適用於其他人形機器人（Unitree H1、Booster T1）。

問題

人形機器人的技能通常是透過追蹤重定向到機器人上的人類動作來學習，但常見的重定向流程（PHC、GMR、VideoMimic）仰賴關鍵點比對，採用無約束或軟性懲罰的最佳化。結果會出現腳部滑移、穿透，以及手與物體或腳與地形之間接觸的遺失，迫使下游 RL 投入大量獎勵工程。為每一種物體姿態、物體形狀或地形高度分別收集示範，成本也很高。

提出的方法

OmniRetarget 對身體關鍵點以及在物體與地形上取樣的點進行 Delaunay 四面體剖分，以建立互動網格，並在每一影格中最小化人體網格與機器人網格之間的拉普拉斯變形。硬性約束強制執行避碰、關節與速度限制，以及支撐腳不得滑動，並以上一影格作為暖啟動的序列 SOCP 求解。改變物體姿態、物體形狀或地形高度後重新求解，就能把一個示範變成許多運動學上有效的軌跡。

關鍵見解

• 保留身體、物體與地形之間的空間關係，而非比對關鍵點，可以消除大部分的穿透與腳部滑移瑕疵。
• 硬性約束避開了 VideoMimic 所用之軟性碰撞與接觸懲罰在調參上的敏感性。
• 重定向品質直接影響 RL 的成功率；在地形任務中，接觸保留程度與成功率同步變化。
• 運動學擴增能以很低的代價擴大涵蓋範圍：在完整擴增資料集上訓練的成功率為 79.1%，只用標稱動作時為 82.2%，而僅在訓練期間隨機化物體形狀與姿態則表現不佳。
• 在物體的局部座標系中建立互動網格，可讓拉普拉斯座標在物體被移動或旋轉時維持不變。

主要結果

• 機器人與物體（OMOMO）：穿透持續時間為 0.00，PHC、GMR 與 VideoMimic 則為 0.60–0.83；最大穿透深度為 1.34 cm，它們為 5.11–8.50 cm；腳部滑移為零。
• 機器人與物體任務的 RL 成功率：82.20%，PHC 為 71.28%、GMR 為 50.83%、VideoMimic 為 3.85%。
• 機器人與地形（自建 MoCap）：RL 成功率 94.73%，GMR 為 78.94%、PHC 為 52.63%、VideoMimic 為 51.75%；接觸保留為 0.72，其他方法為 0.45–0.67。
• 僅機器人（LAFAN1）：最大穿透為 1.07 cm，Unitree LAFAN1 重定向資料集則為 3.22 cm，且沒有腳部滑移；兩者的 RL 成功率都達到 100%。
• 在實體硬體上，Unitree G1 完成 30 秒的跑酷序列（搬運 4.6 kg 的椅子、攀爬、跳躍與翻滾），並爬上 0.9 m 高、相當於其身高 70% 的平台，皆由模擬零樣本轉移而來。
• 共產生超過 8 小時的重定向軌跡；其中 39 個高難度動作用於 RL 比較。

限制

• 重定向是逐影格求解；作者建議採用整條軌跡的最佳化，以處理影片等雜訊較多的動作來源。
• 策略是本體感知的，並追蹤參考動作；學習自主的視覺運動策略留待未來研究。
• 在序列 SOCP 求解器中將碰撞約束線性化，偶爾會留下輕微穿透（最大深度約 1.3 cm），預期可由 RL 吸收。
• 基準方法的表現可能取決於超參數；作者以基準方法公開的預設值為起點再加以調整。
• 搬箱子的動作共用一個多任務策略，但攀爬平台則是每個參考動作各用一個策略。

對領域的影響

入圍 ICRA 2026 機器人操作與行走運動最佳論文獎決選，已被引用 209 次。論文表示，所有程式碼、重定向資料集（2.78 h 的 OMOMO 搬箱子、1 h 的自建 MoCap、4.6 h 的 LAFAN1）以及訓練好的策略都將公開釋出。

摘要

教導人形機器人複雜技能的主流範式之一，是將人類動作重定向為運動學參考，用來訓練強化學習（RL）策略。然而，現有的重定向流程往往難以處理人與機器人之間顯著的本體差異，產生腳部滑移與穿透等物理上不合理的瑕疵。更重要的是，常見的重定向方法忽略了豐富的人與物體、人與環境之間的互動，而這些互動對於富表現力的行走運動與移動操作（loco-manipulation）不可或缺。為此，我們提出 OmniRetarget，一個以互動網格為基礎、能保留互動的資料生成引擎，明確地建模並保留代理、地形與被操作物體之間關鍵的空間與接觸關係。OmniRetarget 在施加運動學約束的同時，將人體網格與機器人網格之間的拉普拉斯變形最小化，以產生運動學上可行的軌跡。此外，保留與任務相關的互動能實現高效率的資料擴增，從單一示範延伸到不同的機器人本體、地形與物體配置。我們重定向來自 OMOMO、LAFAN1 及我們自建 MoCap 資料集的動作，全面評估 OmniRetarget，產生超過 8 小時的軌跡，其運動學約束的滿足程度與接觸保留都優於廣泛使用的基準方法。這些高品質資料讓本體感知 RL 策略能在 Unitree G1 人形機器人上成功執行長時域（最長 30 秒）的跑酷與移動操作技能，訓練時只用了 5 個獎勵項與所有任務共用的簡單領域隨機化，且完全沒有使用課程學習。

連結

• arXiv 2509.26633: https://arxiv.org/abs/2509.26633
• DOI 10.1109/ICRA57385.2026.11696487: https://doi.org/10.1109/ICRA57385.2026.11696487
• PDF: https://arxiv.org/pdf/2509.26633v1
• 專案頁面: https://omniretarget.github.io/