Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

GRAIL: Generating Humanoid Loco-Manipulation from World Models

著者: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026

重要な理由

ヒューマノイドロボットには、全身で歩き、ひざまずき、座り、物体を扱うデモンストレーションが必要だが、現在それは遠隔操作かモーションキャプチャから得られ、どちらも新しい物体や階段のたびに物理的なシーンと人手を要する。GRAIL はこれを、展開までコンピュータの中で完結するパイプラインに置き換える。3D の物体とシーンを入れると、ロボットで使える軌道が出てくる。生成にかかる時間は GPU 一枚でシーケンスあたり約 14 分である。著者らは、このデータだけで十分であることを示した。このデータのみで学習した視覚方策が、実機の Unitree G1 で物体を拾い、階段を上る。コード、ドキュメント、22,000 件を超える G1 の動作を含むデータセット、トラッキング用チェックポイントが公開されており、ヒューマノイド向け合成データを作る人にとって実際に動く参考実装になる。コードは NVIDIA License、データセットは CC BY-NC 4.0 で提供されるため、どちらも研究または評価目的でしか使えず、商用製品には使えない。

課題

ヒューマノイドの移動マニピュレーション方策には、多くの物体、全身の動き、地形の形をカバーするデモンストレーションが必要で、どれも物理的に妥当でロボットが実行できなければならない。遠隔操作とモーションキャプチャは良質なデモを生むが、拡大しにくい。新しい物体や地形配置ごとに、オペレータ、計測機器を着けた演者、作り直した物理シーンが要る。普通の動画からロボット軌道を再構成すれば幅は広がるが、カメラ、尺度、物体の形、体の形、接触、世界座標での動きをすべて単一の視点から推測しなければならない。生成動画を人-物体インタラクションの源として使う従来のパイプラインも、同じ量を生成後に推定する形のままなので、その出力はロボットが追従できるものにならないことが多い。

提案手法

GRAIL は何かを生成する前にシーンを固定する。物体アセットを Infinigen の部屋に置き、その横に Unitree G1 の体型に合わせた人のキャラクターを配置し、物理シミュレーションで落ち着かせてから、既知のカメラパラメータで Blender でレンダリングする。GPT-4o がそのフレームからインタラクションのプロンプトを書き、世界モデルとして使う Kling の画像から動画への生成モデルが、人が物体を扱う様子を固定カメラで撮った動画を生成する。形状、尺度、カメラ、シーンの深度、体型が既知なので、再構成には制約がかかる。GENMO が体型を固定したまま体の姿勢を推定し、WiLoR が手を精緻化し、ファインチューニングした FoundationPose が既知の初期姿勢から物体を追跡し、体と物体をまとめて最適化してキーポイント、投影、深度、接触の損失で浮いた接触、めり込み、深度のずれを取り除く。物体追跡が SAM2 のマスクと食い違うシーケンスは捨てる。GMR が動きを G1 にリターゲットし、SONIC 全身制御装置の上に作った二つのタスク汎用トラッカーが、Isaac Lab で参照動作をロボットの行動に変える。一つは SONIC の潜在トークンを調整し両手を開閉する物体認識型アダプタ、もう一つはロボット周囲の地面の高さマップを読むネットワークと一緒に SONIC をファインチューニングするシーン認識型トラッカーで、縁石、坂、階段、椅子に対応する。実機向けには、これらのトラッカーをドメインランダム化で学習した一人称視点の RGB 方策に蒸留する。

主な知見

  • 動画を生成する前にシーンを把握していることが、再構成を使えるものにする。物体形状、カメラ、メートル尺度、シーンの深度、ロボットの体型に合わせた体が、未知数ではなく入力になる
  • 生成するなら人の動画のほうがよい。現在の動画モデルはロボットより人の操作について強い事前知識を持ち、人の体と手の再構成ツールのほうが成熟している
  • あらかじめロボットの体型に合わせたキャラクターを使うと、G1 へのリターゲット時の不一致が減り、手と物体、体とシーンの接触がリターゲット後も保たれる
  • 再構成の損失はどれも画像だけでなくロボットにとって重要である。投影、深度、接触のいずれかの項を外すと、下流のトラッキング成功率は 81.4% から 41.6% ～ 53.3% に下がる
  • 体を正確に追従するだけでは操作には足りない。素の SONIC は体の追従が最も良いが成功率は最も低く、物体認識型潜在アダプタが物体の扱いを加える
  • タスクファミリーごとに一つのトラッカーを 2,000 ～ 4,000 件の動作で学習すると、コストは動作あたり約 0.5 ～ 0.9 分の学習に下がり、新しい動作は既存の方策からのファインチューニングで追加できる

主な結果

  • 共通の 20 物体で、GRAIL が生成したインタラクションは物理シミュレーションで 88.9% の成功率で追従され、DAViD は 24.0%、HOIDiff は 15.8%、CHOIS は 10.5% だった。接触距離（0.008）とめり込み率（0.90%）も最小だった
  • 30 人の参加者によるユーザー調査で、GRAIL は最も適切な物体の使い方として 74.7%、物理的に最も妥当な動きとして 70.9% の割合で選ばれた。理論上の上限は 75% である
  • 43 物体にわたる 124 動作のベンチマークで、タスク汎用トラッカーは操作成功率 81.4% に達し、HDMI は 48.5%、ResMimic は 49.2% だった。SONIC なしでは 45.0% に落ちる
  • パイプラインは 1,000 の物体アセットと 1,000 の手続き生成地形から 20,000 件以上のシーケンスを生成し、NVIDIA A100 一枚で 5 秒のシーケンスあたり約 14 分かかった
  • 実機の Unitree G1 で、GRAIL のデータのみで学習した一人称視点の RGB 拾い上げ方策は、既知の物体五つで 84%、未知の物体五つで 80% 成功した。各物体 10 回の試行である
  • GRAIL の地形シーケンスのみで学習した階段昇り方策は、実環境で 90% の成功率に達した

制限事項

  • コードは NVIDIA License で、研究または評価目的の利用しか認めていない（NVIDIA 自身を除く）。公開データセットは CC BY-NC 4.0 で、同梱の重みやアセットの一部は第三者の独自ライセンスのままなので、いずれも商用製品には組み込めない
  • 既定では動画生成に有料の Kling API を呼び出し、プロンプトは OpenAI API（GPT-4o）で作るため、新しいデータを作るには外部サービスのキーが要る。2026 年八月に MiniMax-H3 を使うローカルの選択肢が追加された
  • パイプラインには物体ごとの 3D アセットとシミュレータ対応シーンが必要で、動画モデルが指示どおりのインタラクションを演じる必要もある。強い遮蔽、速い動き、フレーム間で見た目が変わる物体では再構成の質が落ち、フィルタリングで無視できない割合のシーケンスが捨てられる
  • 学習は重い。各トラッキング方策は 64 枚の NVIDIA L40 GPU で PPO を 30,000 イテレーション、約 30 時間回しており、新しい動作ファミリーには依然として学習かファインチューニングが必要になる
  • 実機の結果は一台のロボットでの二つのタスク、つまり机からの拾い上げと階段昇りだけで、物体ごとの試行は 10 回である。全身マニピュレーションと着座はシミュレーションでしか示されておらず、手は開くか閉じるかの二値の把持しか使わない
  • 公開データセットは拾い上げ、着座、地形をカバーする。全身マニピュレーションのデータはまだ ToDo に残っており、クイックスタートのデモスクリプトも未公開である
  • 結果はすべて著者自身の報告である。執筆時点で、独立した再現は公表されていない

分野への影響

ロボティクスでは、動画生成モデルはこれまで主に結果を想像したり視覚的な事前学習を与えたりするのに使われてきた。GRAIL はそれをヒューマノイドの物理的なデモの供給源として使い、うまくいく鍵は制約のない動画から 3D の動きを読み取ることではなく、先に 3D シーンを決めてその中で再構成することだと示した。実機での拾い上げと階段昇りをこのデータだけで学習したことで、世界モデル由来の合成データが、遠隔操作やモーションキャプチャと並んでヒューマノイドのデータセットを拡大する手段になりうることを裏付けている。公開データセットは、地形と拾い上げに関する大量の G1 参照動作を他のグループに提供し、トラッカーの学習に使える。

概要

ヒューマノイドの移動マニピュレーションを拡大するには、多様な物体、全身の動き、シーンの幾何形状にわたるロボット互換のデモンストレーションが必要だが、遠隔操作やモーションキャプチャは、収集のたびに物理的なセットアップ、計測機器を着けた演者、ロボットの操作に依存するため、拡大が難しい。本研究では、展開まで完全に仮想のままのデジタル生成パイプライン GRAIL を提案する。GRAIL は動画の世界モデルを 3D アセットとシミュレータ対応シーンに結び付け、物理環境を作り直したりロボットを遠隔操作したりせずにインタラクションを合成する。制約のない実環境の動画を再構成するのではなく、GRAIL は完全に指定された 3D 構成から出発する。そこでは物体の形状、カメラパラメータ、メートル尺度、環境の深度、ロボットの体型に合わせたキャラクターが動画生成の前から既知であり、再構成でも再利用される。この特権的な設定により 4D 復元の条件が良くなり、モデルベースの物体追跡、人体動作推定、インタラクションを考慮した最適化によって、深度の曖昧さと形態の不一致を抑えたメートル尺度の 4D 人-物体インタラクション（HOI）軌道を再構成できる。復元した動きをヒューマノイドロボットにリターゲットし、相補的なタスク汎用トラッカーを学習する。操作用の物体認識型潜在アダプタと、地形踏破用のシーン認識型トラッカーである。GRAIL は、拾い上げ、全身マニピュレーション、着座、地形踏破にわたる 20,000 件以上のシーケンスを生成する。GRAIL が生成したデータのみを用いて、シミュレーションから実機へ（Sim-to-Real）のパイプラインで一人称視点の視覚方策を学習し、Unitree G1 ヒューマノイドに展開した結果、実環境で多様な物体の拾い上げに 84%、階段昇りに 90% の成功率を達成した。

リンク

  • arXiv 2606.05160: https://arxiv.org/abs/2606.05160
  • PDF: https://arxiv.org/pdf/2606.05160
  • コード: https://github.com/NVlabs/GRAIL
  • プロジェクトページ: https://research.nvidia.com/labs/dair/grail/
  • データセット: https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。