OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

作者: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

带有硬运动学约束的交互网格重定向将人类 MoCap 数据转化为干净的人形机器人参考动作；仅用 5 个奖励项的 RL 策略可零样本迁移到 Unitree G1。

为何重要

干净的参考动作让作者只用五个奖励项、四个机器人域随机化项，并且不改动 BeyondMimic 的超参数、不使用课程学习，就训练出本体感知 RL 策略。工作重心从调节奖励转向生成更好的数据，而且同一流程只需更改关键点对应关系和碰撞模型，就能适配其他人形机器人（Unitree H1、Booster T1）。

问题

人形机器人的技能通常通过跟踪重定向到机器人上的人类动作来学习，但常见的重定向流程（PHC、GMR、VideoMimic）依赖关键点匹配，采用无约束或软惩罚的优化。其结果会出现脚底滑动、穿透，以及手-物或脚-地形接触的丢失，这迫使下游 RL 进行大量奖励工程。为每种物体位姿、物体形状或地形高度单独采集示范的成本也很高。

提出的方法

OmniRetarget 通过对身体关键点以及在物体和地形上采样的点进行 Delaunay 四面体剖分来构建交互网格，并在每一帧最小化人体网格与机器人网格之间的拉普拉斯变形。硬约束强制执行避碰、关节和速度限制以及支撑脚不滑动，由以上一帧为热启动的序列 SOCP 求解。在改变物体位姿、物体形状或地形高度后重新求解，即可将一个示范转化为许多运动学上有效的轨迹。

关键见解

• 保留身体、物体和地形之间的空间关系（而不是匹配关键点），可消除大部分穿透和脚底滑动伪影。
• 硬约束避免了 VideoMimic 所用的软碰撞和接触惩罚对调参的敏感性。
• 重定向质量直接决定 RL 的成功率；在地形任务中，接触保留程度与成功率相一致。
• 运动学增强以很小的代价扩大了覆盖范围：在完整增强数据集上训练的成功率为 79.1%，仅用标称动作时为 82.2%，而仅在训练期间随机化物体形状和位姿则表现不佳。
• 在物体的局部坐标系中构建交互网格，可使拉普拉斯坐标在物体被移动或旋转时保持不变。

主要结果

• 机器人-物体（OMOMO）：穿透持续时间为 0.00，而 PHC、GMR 和 VideoMimic 为 0.60–0.83；最大穿透深度为 1.34 cm，而它们为 5.11–8.50 cm；脚底滑动为零。
• 机器人-物体任务上的 RL 成功率：82.20%，而 PHC 为 71.28%，GMR 为 50.83%，VideoMimic 为 3.85%。
• 机器人-地形（内部 MoCap）：RL 成功率为 94.73%，而 GMR 为 78.94%，PHC 为 52.63%，VideoMimic 为 51.75%；接触保留为 0.72，而其他方法为 0.45–0.67。
• 仅机器人（LAFAN1）：最大穿透为 1.07 cm，而 Unitree LAFAN1 重定向数据集为 3.22 cm，且无脚底滑动；两者的 RL 成功率都达到 100%。
• 在硬件上，Unitree G1 完成了 30 秒的跑酷序列（搬运 4.6 kg 的椅子、攀爬、跳跃和翻滚），并爬上了 0.9 m 高、相当于其身高 70% 的平台，均从仿真零样本迁移。
• 共生成了超过 8 小时的重定向轨迹；其中 39 个高难度动作用于 RL 对比。

局限

• 重定向是逐帧求解的；作者建议采用整条轨迹优化来处理视频等噪声更大的动作来源。
• 策略基于本体感知并跟踪参考动作；学习自主的视觉运动策略留待未来工作。
• 在序列 SOCP 求解器中对碰撞约束进行线性化，会偶尔留下轻微穿透（最大深度约 1.3 cm），预计可由 RL 吸收。
• 基线的性能可能取决于超参数；作者以基线的公开默认值为起点并进行了调整。
• 搬箱子动作共用一个多任务策略，而攀爬平台则每个参考动作使用一个策略。

对领域的影响

入围 ICRA 2026 机器人操作与运动最佳论文奖决选，已被引用 209 次。论文表示，所有代码、重定向数据集（2.78 h 的 OMOMO 搬箱子、1 h 的内部 MoCap、4.6 h 的 LAFAN1）以及训练好的策略都将公开发布。

摘要

教人形机器人掌握复杂技能的一种主流范式，是将人类动作重定向为运动学参考，用于训练强化学习（RL）策略。然而，现有的重定向流程往往难以应对人与机器人之间显著的本体差异，产生诸如脚底滑动和穿透之类在物理上不合理的伪影。更重要的是，常见的重定向方法忽略了丰富的人-物和人-环境交互，而这些交互对于富有表现力的运动和移动操作（loco-manipulation）至关重要。为此，我们提出 OmniRetarget，一个基于交互网格、保留交互的数据生成引擎，它显式地建模并保留智能体、地形与被操作物体之间关键的空间关系和接触关系。通过在施加运动学约束的同时最小化人体网格与机器人网格之间的拉普拉斯变形，OmniRetarget 生成运动学上可行的轨迹。此外，保留与任务相关的交互可实现高效的数据增强，从单个示范扩展到不同的机器人本体、地形和物体配置。我们通过重定向来自 OMOMO、LAFAN1 以及我们内部 MoCap 数据集的动作，对 OmniRetarget 进行了全面评估，生成了超过 8 小时的轨迹，其运动学约束满足度和接触保留均优于广泛使用的基线。这些高质量数据使本体感知 RL 策略能够在 Unitree G1 人形机器人上成功执行长时程（最长 30 秒）的跑酷和移动操作技能，训练时仅使用 5 个奖励项和所有任务共享的简单域随机化，且无需任何课程学习。

链接

• arXiv 2509.26633: https://arxiv.org/abs/2509.26633
• DOI 10.1109/ICRA57385.2026.11696487: https://doi.org/10.1109/ICRA57385.2026.11696487
• PDF: https://arxiv.org/pdf/2509.26633v1
• 项目主页: https://omniretarget.github.io/