Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Visual Imitation Enables Contextual Humanoid Control

著者: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

VideoMimic はスマートフォン動画から人とシーンを再構成し、その動きを Unitree G1 にリターゲティングして、地形に応じて階段を上り、座り、立ち上がる単一のポリシーを学習する。

重要な理由

展開されたポリシーに必要なのは、固有受容感覚、LiDAR の高さマップ、ジョイスティックの方向だけであり、タスクラベルではなく地形に基づいて、歩行、階段昇降、着座、起立を選択する。学習の参照データはモーションキャプチャスタジオではなく気軽に撮影したスマートフォン動画から得ており、著者らは、知る限りこれが単眼の人間の動画から学習した文脈認識型ヒューマノイドロボットポリシーの初の実世界展開であると述べている。

課題

階段を上る、椅子に座るといった文脈に依存する全身スキルをヒューマノイドロボットに教えるには、通常、行動と環境ごとに手作業で調整した報酬やモーションキャプチャデータが必要となる。動作模倣の手法は一般に平坦な地面や計測機器を備えたキャプチャスタジオを前提とし、単眼再構成の手法は人物を復元できても、周囲のシーンを計量的なスケールで復元できないことが多い。

提案手法

VideoMimic は単眼動画から、フレームごとの SMPL 人体姿勢と 2D キーポイント、およびシーンの点群（MegaSaM または MonST3R）を推定し、SMPL の人体身長の事前分布を計量的な基準として、人間の軌道とシーンのスケールを同時に最適化する。シーンは GeoCalib で重力方向に揃えられ、NKSR でメッシュ化される。動作は、関節可動域、接触、衝突のコストを用いて Unitree G1 にリターゲティングされる。ポリシーは Isaac Gym で 4 段階で学習される。LAFAN のモーションキャプチャでの RL 事前学習、11 × 11 の高さマップを用いたシーン条件付きの追従、ルートの方向のみで条件付けされたポリシーへの DAgger による蒸留、そしてその縮小された観測セットでの PPO によるファインチューニングである。

主な知見

  • SMPL 人体の計量的な身長を基準として人間の動きとシーンのスケールを同時に最適化することで、単眼 SfM の点群のスケールの曖昧さを解消する。
  • ノイズを含む動画の参照を追従する前に、モーションキャプチャデータでの RL 事前学習が必要である。これがないとポリシーはほとんど学習しない（Fig. 6）。その一因は、再構成された開始姿勢が不安定であったりシーンと交差したりすることにある。
  • ルートの方向だけを見るポリシーへと蒸留し、同じ縮小された入力で再び RL を行うと、蒸留したポリシーより改善し、品質の低い参照クリップも使えるようになる。
  • 実機への展開には二つの要素が極めて重要であった。参照動作に対するエピソード終了の許容幅を緩めることと、学習中に現実的な物理的摂動を加えることである。
  • 段階的な実世界テストでは、ルートの速度よりもルートの位置で条件付けするほうがうまくいった。

主な結果

  • SLOPER4D のサブセットでの再構成（Table 2）：WA-MPJPE は 112.13 に対し 149.48（TRAM）と 189.29（WHAM）、W-MPJPE は 696.62 に対し 954.90 と 1148.49、Chamfer 距離は 0.75 に対し TRAM が 10.66（WHAM はシーンを復元しない）。
  • 人とシーンの同時最適化は、コンパイル後、NVIDIA A100 上で 300 フレームのシーケンスを約 20 ms で処理する。300 フレームのクリップあたり、リターゲティングは約 10 s、重力方向の位置合わせとメッシュ化は約 60 s かかる。
  • 学習セットは自分たちで撮影した 123 本のスマートフォンクリップ：階段の上り 39、下り 36、両方 13、起立 7、着座 12、着座と起立 5、地形の踏破 11。平地歩行の LAFAN クリップ 10 本がサンプリングの 10% を占める。
  • 23-DoF の Unitree G1 に搭載され 50 Hz で動作する一つのポリシーが、屋内外の階段を上り下りし、急な土の斜面や荒れた植生を越え、椅子やベンチに座って立ち上がる。
  • 階段を下りる際に足が滑った後、ポリシーは片脚で短く跳ねてから通常の歩容に戻ることで回復した。

制限事項

  • 単眼 4D 再構成は脆弱である。MegaSaM のカメラのドリフトは重複した「ゴースト」面を生み、人物の点が静的なシーンに融合され、テクスチャの少ない画像では失敗し、NKSR は狭い階段の踏面を過度に平滑化することがあるため、そうした動画は破棄される。
  • リターゲティングは、すべての参照姿勢をロボットにとって実現可能にできると仮定している。散らかったシーンでは、接触と衝突のコストが競合し、ソルバーが質の悪い局所解に陥ることがある。
  • 11 × 11 の LiDAR の高さマップは、精密な接触、マニピュレーション、張り出した障害物に対しては粗すぎる。
  • シーンは単一の剛体メッシュとしてモデル化されるため、関節を持つ物体や変形する物体は扱えない。
  • クリップが 123 本しかないため、ポリシーは回復行動に頼ることがあり、動きがぎこちなくなる。実ロボットの結果は定性的に示されており、成功率は報告されていない。

分野への影響

本論文は CoRL 2025 Best Student Paper Award を受賞し、被引用数は 142 である。著者らは、再構成コード、ポリシー学習フレームワーク、123 本の動画のデータセットを公開するとしており、結果は videomimic.net で示されている。

概要

周囲の環境の文脈を使って、ヒューマノイドロボットに階段を上ったり椅子に座ったりすることをどう教えればよいだろうか。おそらく最も簡単な方法は、ただ見せることである。人の動きを気軽に動画に撮り、それをヒューマノイドロボットに与えるのである。我々は、日常的な動画を掘り起こし、人間と環境を同時に再構成し、対応するスキルを実行するヒューマノイドロボット向けの全身制御ポリシーを生成する、real-to-sim-to-real のパイプライン VIDEOMIMIC を提案する。実際のヒューマノイドロボットでパイプラインの成果を示し、階段の上り下り、椅子やベンチへの着座と起立、その他の動的な全身スキルといった、ロバストで再現性のある文脈に応じた制御を、環境とグローバルなルート指令で条件付けされた単一のポリシーで実現する。VIDEOMIMIC は、多様な実世界の環境で動作するようヒューマノイドロボットを教えるための、スケーラブルな道筋を提供する。

リンク

  • arXiv 2505.03729: https://arxiv.org/abs/2505.03729
  • DOI 10.48550/arXiv.2505.03729: https://doi.org/10.48550/arXiv.2505.03729
  • PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/allshire25a/allshire25a.pdf
  • プロジェクトページ: https://videomimic.net/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。