Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

著者: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

各サブタスクを行う人の生成画像から手と足の接触とリターゲティングしたロボットの姿勢を得て、長期的なヒューマノイドロボットのタスク全体にわたる全身軌道最適化を導く。

重要な理由

このパイプラインは、タスク固有のヒューリスティクスも 3D の人と物体のインタラクションデータセットも必要とせず、高レベルのテキスト計画と物体の画像を入力とする。著者らによれば、抽出した接触と構成の情報がなければ、軌道最適化はどちらのテストタスクも解けなかった。つまり生成画像が、局所最適化に欠けている長期的な推論を補っている。

課題

ヒューマノイドロボットは不安定なダイナミクスを持つ高次元のシステムであり、有用なロコマニピュレーションのタスクには、既存の計画手法がスケールしない長期的な推論が必要である。軌道最適化は局所的であるため、そうしたタスクでは誘導なしでは失敗する。一方、ロボットが容易に転倒するため、ヒューマノイドロボットの遠隔操作によるデモンストレーションは収集が難しい。

提案手法

順序付けられた短いテキストプロンプトのリストと物体の RGB-D 画像から、潜在拡散モデル（Flux）が各サブタスクを行う全身の人物の画像を生成する。手と足の接触は、意味的対応と、点群の重なりを確認するサンプリングベースの SVD・ICP 探索とを組み合わせて 3D シーンに移され、人物の姿勢（WHAM による）は逆運動学によって 35-D のロボット構成にリターゲティングされる。これらのキーフレームは、重心ダイナミクスに基づく全身軌道最適化に、コスト項としてもサブタスク型のウォームスタートとしても組み込まれる。

主な知見

  • 人の 2D 生成画像は接触位置と全身の構成の両方を提供でき、両者を併用すると、接触のみの場合より良い局所解へと局所的な軌道最適化を導く。
  • 生成された物体は視点、形状、テクスチャが実物と異なるため、意味的対応だけでは信頼できない。点群の重なり（SVD の後に ICP）で候補の対応を採点することで、誤った接触が修正される。
  • キーフレームは、コストとしてもサブタスク的なウォームスタートとしても用いると最も効果的である。ウォームスタートを含む設定は収束が良く、貫通が少ない傾向がある。
  • 各プロンプトに髪と服装の固定の記述を付け加えると、画像モデルが全身の人物を描くようになり、これは接触と姿勢の抽出に必要である。

主な結果

  • 最小限の衝突ペナルティの下で、パイプライン全体は両方のシナリオ（S1：箱を動かしてその上に乗り、棚からかごを取る。S2：箱を台車に載せて押す）で軌道全体にわたり衝突がなく、接触のみのベースラインは全体を通じて大きく貫通する（Fig. 5）。
  • 抽出した接触と構成の情報がなければ、軌道最適化はどちらのタスクも解けなかった。代わりに可能な衝突制約をすべて有効にすると、局所解で停滞してしまう。
  • 箱の質量 5.0 kg、初期ヨー 0 rad の S1 テストでは、キーフレームのすべての構成要素を使うと貫通はゼロになる。いずれかの構成要素を除くと、収束しないか、大きな貫通が生じる。
  • キーフレームのアブレーションは、S1 では箱の質量 {2.5, 5.0} kg と初期ヨー {0, 0.6, 1.2} rad、S2 では {2.5, 5.0, 7.5} kg と {0, ±0.6, ±1.2} rad を対象とする。
  • 衝突ペナルティを無効にした場合、形状を考慮した接触の移し替えは、両方のシナリオで形状を考慮しない移し替えより大幅に貫通が少ない。
  • 剛体変換の探索は 10 回反復し、実際には最良の変換は 3 回以内に見つかる。

制限事項

  • 検証はシミュレーション（Unitree G1 モデルを用いた MuJoCo）のみであり、著者らは実際のヒューマノイドロボットでの実行を今後の課題に挙げている。
  • 高レベルの計画（順序付けられたテキストプロンプト）が与えられていること、さらに配置タスクでは物体の目標 3D 位置とヨーが与えられていることを前提とする。著者らは、これをマルチモーダル言語モデルを用いるタスクプランナーで置き換える計画である。
  • 一部のアブレーションでは、完全なキーフレーム設定が部分的な設定よりわずかに劣り、著者らはこれを軌道最適化ソルバーの細部によるものとしている。
  • 生成画像のカメラ内部パラメータは試行錯誤で設定され（画像解像度を焦点距離とする）、貫通を避けるためにヒューリスティクスで接触を最も近い物体表面に投影している。
  • 結果は二つのシナリオの貫通のプロットとして示されており、論文は成功率や計画時間を報告していない。

分野への影響

本論文は Humanoids 2025 Best Oral Paper Award のファイナリストであり、被引用数は 8 である。論文にはコード、データセット、プロジェクトページへのリンクはなく、補足動画に言及している。

概要

本論文は、潜在拡散モデル（LDMs）が写実的な RGB の人と物体のインタラクションシーンを生成する能力を利用して、ヒューマノイドロボットのロコマニピュレーション（loco-manipulation）の計画を導く。そのために、生成された画像から接触位置とロボットの構成の両方を抽出し、それらを全身軌道最適化（TO）の定式化の中で用いて、ヒューマノイドロボットのための物理的に整合した軌道を生成する。さまざまな長期的ロコマニピュレーションのシナリオについてパイプライン全体をシミュレーションで検証し、提案する接触とロボット構成の抽出パイプラインについて詳細な分析を行う。結果は、LDMs から抽出した情報を用いることで、長期的な推論を必要とする物理的に整合した軌道を生成できることを示している。

リンク

  • arXiv 2504.16843: https://arxiv.org/abs/2504.16843
  • DOI 10.1109/Humanoids65713.2025.11203092: https://doi.org/10.1109/Humanoids65713.2025.11203092
  • PDF: https://arxiv.org/pdf/2504.16843v1

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。