OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

著者: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

厳密な運動学的制約を伴うインタラクションメッシュによるリターゲティングで、人間の MoCap をクリーンなヒューマノイド用の参照動作に変換する。5 つの報酬項による RL ポリシーが Unitree G1 にゼロショットで転移する。

重要な理由

クリーンな参照動作により、著者はわずか 5 つの報酬項と 4 つのロボットのドメインランダム化項を用い、BeyondMimic のハイパーパラメータを変更せず、カリキュラムもなしで、固有受容感覚に基づく RL ポリシーを学習できた。労力は報酬の調整からより良いデータの生成へと移り、同じパイプラインはキーポイントの対応関係と衝突モデルを変えるだけで他のヒューマノイド（Unitree H1、Booster T1）にも適用できる。

課題

ヒューマノイドのスキルは、ロボットにリターゲットした人間の動作を追従することで学習されることが多いが、一般的なリターゲティングパイプライン（PHC、GMR、VideoMimic）は、制約なしまたはソフトなペナルティ付きの最適化によるキーポイントのマッチングに依存している。その結果、足滑り、貫通、手と物体や足と地形の接触の喪失が生じ、下流の RL で大がかりな報酬設計が必要になる。物体の姿勢、物体の形状、地形の高さごとに別々のデモンストレーションを収集するのもコストが高い。

提案手法

OmniRetarget は、身体のキーポイントと物体・地形上でサンプリングした点に対して Delaunay 四面体分割を行うことでインタラクションメッシュを構築し、各フレームで人間のメッシュとロボットのメッシュの間のラプラシアン変形を最小化する。厳密な制約によって衝突回避、関節と速度の制限、支持脚の滑りなしを強制し、前フレームの解でウォームスタートした逐次 SOCP で解く。物体の姿勢、物体の形状、地形の高さを変えて解き直すことで、1 つのデモンストレーションを運動学的に有効な多数の軌道に変える。

主な知見

キーポイントを一致させるのではなく、身体、物体、地形の間の空間関係を保持することで、貫通と足滑りのアーティファクトの大半が除去される。
厳密な制約により、VideoMimic が用いるソフトな衝突・接触ペナルティにつきまとう調整の難しさを回避できる。
リターゲティングの品質は RL の成功を直接左右する。地形タスクでは、接触の保持が成功率と連動した。
運動学的拡張は低コストでカバー範囲を広げる。拡張データ全体で学習した場合の成功率は 79.1%、公称動作のみの場合は 82.2% であったが、学習中に物体の形状と姿勢をランダム化するだけでは性能が低かった。
物体の局所座標系でインタラクションメッシュを構築することで、物体が移動または回転してもラプラシアン座標は変わらない。

主な結果

ロボットと物体（OMOMO）：貫通の持続時間は 0.00 で、PHC、GMR、VideoMimic の 0.60–0.83 を下回った。最大貫通深さは 1.34 cm で、それらの 5.11–8.50 cm に対して小さく、足滑りはゼロであった。
ロボットと物体のタスクにおける RL 成功率：82.20%。これに対し PHC は 71.28%、GMR は 50.83%、VideoMimic は 3.85% であった。
ロボットと地形（独自の MoCap）：RL 成功率は 94.73% で、GMR は 78.94%、PHC は 52.63%、VideoMimic は 51.75% であった。接触の保持は 0.72 で、他手法は 0.45–0.67 であった。
ロボットのみ（LAFAN1）：最大貫通は 1.07 cm で、Unitree LAFAN1 リターゲティングデータセットの 3.22 cm に対して小さく、足滑りはなかった。どちらも RL 成功率 100% に達した。
実機では、Unitree G1 が 30 秒のパルクール動作（4.6 kg の椅子の運搬、登攀、ジャンプ、転がり）を実行し、身長の 70% にあたる 0.9 m の台に登った。いずれもシミュレーションからゼロショットで転移したものである。
8 時間を超えるリターゲット済み軌道が生成され、そのうち難度の高い 39 の動作が RL の比較に用いられた。

制限事項

リターゲティングはフレームごとに解かれている。著者は、動画のようなノイズの多い動作ソースを扱うため、軌道全体の最適化を提案している。
ポリシーは固有受容感覚に基づき参照動作を追従するものであり、自律的な視覚運動ポリシーの学習は今後の課題とされている。
逐次 SOCP ソルバーで衝突制約を線形化しているため、ときおり軽微な貫通（最大深さ約 1.3 cm）が残るが、これは RL によって吸収されると想定されている。
ベースラインの性能はハイパーパラメータに依存する可能性がある。著者はベースラインの公開デフォルト値から始めて調整した。
箱を運ぶ動作は 1 つのマルチタスクポリシーを共有しているが、台への登攀は参照動作ごとに 1 つのポリシーを用いている。

分野への影響

ICRA 2026 ロボットマニピュレーション・ロコモーション部門最優秀論文賞の最終候補に選ばれ、被引用数は 209。論文は、すべてのコード、リターゲット済みデータセット（OMOMO の箱運び 2.78 h、独自 MoCap 1 h、LAFAN1 4.6 h）、学習済みポリシーを公開すると述べている。

概要

ヒューマノイドロボットに複雑なスキルを教える主流のパラダイムは、人間の動作を運動学的な参照としてリターゲットし、強化学習（RL）ポリシーの学習に用いることである。しかし既存のリターゲティングパイプラインは、人間とロボットの間の大きな身体構成の差に対処できず、足滑りや貫通といった物理的にありえないアーティファクトを生じさせることが多い。さらに重要なことに、一般的なリターゲティング手法は、表現力のあるロコモーションやロコマニピュレーション（loco-manipulation）に不可欠な、人と物体、人と環境の豊かなインタラクションを無視している。これに対処するため、我々は、エージェント、地形、操作対象物体の間の重要な空間関係と接触関係を明示的にモデル化して保持するインタラクションメッシュに基づく、インタラクション保持型のデータ生成エンジン OmniRetarget を導入する。運動学的制約を課しながら人間のメッシュとロボットのメッシュの間のラプラシアン変形を最小化することで、OmniRetarget は運動学的に実行可能な軌道を生成する。さらに、タスクに関連するインタラクションを保持することで、単一のデモンストレーションから異なるロボットの身体構成、地形、物体配置への効率的なデータ拡張が可能になる。OMOMO、LAFAN1、および独自の MoCap データセットからの動作をリターゲットすることで OmniRetarget を包括的に評価し、広く使われているベースラインよりも運動学的制約の充足度と接触の保持に優れた 8 時間以上の軌道を生成した。このような高品質なデータにより、固有受容感覚のみに基づく RL ポリシーが、Unitree G1 ヒューマノイドで長期的（最大 30 秒）なパルクールとロコマニピュレーションのスキルを実行することに成功した。学習には、わずか 5 つの報酬項と全タスク共通の単純なドメインランダム化のみを用い、カリキュラム学習は一切用いていない。

リンク

arXiv 2509.26633: https://arxiv.org/abs/2509.26633
DOI 10.1109/ICRA57385.2026.11696487: https://doi.org/10.1109/ICRA57385.2026.11696487
PDF: https://arxiv.org/pdf/2509.26633v1
プロジェクトページ: https://omniretarget.github.io/