Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

著者: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

RRT で生成したデモンストレーションは行動のエントロピーが高く、行動クローニングを損なう。より一貫性のあるプランナーのデータは、実機にゼロショットで転移する接触の多いタスク向けの拡散ポリシーを学習させる。

重要な理由

本論文は、計画されたデモンストレーションからの行動クローニングがうまくいくかどうかを決めるのは、データ量だけでなくプランナーの設計であることを示している。RRT のほうが状態をわずかに広くカバーしていたにもかかわらず、低エントロピーのデータは確率的完全性を持つ RRT のデータを上回った。現在の遠隔操作インターフェースでは容易に実演できない、腕全体での接触や多指の協調を伴うタスクについて、学習データを得る方法を提供する。

課題

行動クローニングは主に人間が遠隔操作でデモンストレーションできる場面で成功してきたが、一般的な遠隔操作インターフェースはエンドエフェクタしか追跡しないため、腕全体での接触や多指の協調を伴うデモンストレーションは収集が難しい。強化学習をデータ源とすると、制約は報酬のペナルティとして扱われ、報酬設計やシミュレーションから実機への転移が複雑になる。本論文は、モデルベースの接触プランナーがこうしたタスクの学習データをどのように生成すべきかを問う。

提案手法

平滑化された準動的接触モデルを用いるプランナーが計画を提案し、その計画を接触の平滑化を行わない物理シミュレータ上でチャンクごとに再実行して、状態-行動のデモンストレーションを生成する。その後、到達した状態をゴールとして再ラベル付けする（hindsight goal relabelling）。このデータでゴール条件付き拡散ポリシー（FiLM による条件付けを備えた 1D U-Net）を学習する。プランナーは一貫性のために変更されている。双腕タスクには貪欲探索を、ハンド内タスクには固定のプリミティブと事前計算した把持を用いて、キューブの 24 通りの標準的な向きの上に疎な確率的ロードマップを用いる。

主な知見

RRT は木を拡張するたびにサブゴールをサンプリングするため、行動のエントロピーが高く学習しにくいデモンストレーションが生じる。データが少ない場合は特にそうである。
状態のカバー率が高くても、より良いポリシーにはならなかった。RRT のデータはわずかに多くの状態をカバーしたが、学習されたポリシーは貪欲プランナーのデータによるものより明らかに劣っていた。
事後的なゴールの再ラベル付け（hindsight goal relabelling）により、準最適なデモンストレーションや失敗したデモンストレーションが、実際に到達した状態に対する有効な学習ペアに変わる。
キューブのタスクでは、メインポリシーと最終調整ポリシーを組み合わせたハイブリッドがデータの不均衡を打ち消し、単一の統一ポリシーに比べてシミュレーションでの成功率を約 10% 高めた。
短いホライズンでは行動モード間の切り替えによりぎこちない動きになるため、長い行動ホライズン（40 および 60 ステップ）が用いられた。

主な結果

シミュレーションでの IiwaBimanual（初期位置 100 通り）：デモ 100 件では、貪欲プランナーのデータは成功率 99% に達し、Contact-RRT のデータは 44%。デモ 500、1,000、5,000 件ではそれぞれ 98%、99%、100% に対し、63%、88%、84%。
シミュレーション、初期姿勢 100 通り：ハイブリッドポリシーで AllegroHand-Easy 82%、AllegroHand-Hard 68%、統一ポリシーでは 74% と 57%。IiwaBimanual は 99%。
実機の AllegroHand（ハイブリッドポリシー）：各バリアントで 24 試行中 15 回成功（62.5%）、成功した試行での向きの誤差は 13.7 ± 5.9°（Easy）と 15.5 ± 5.2°（Hard）。
実機の IiwaBimanual：20 試行中 18 回成功（90%）。失敗した試行は向きの誤差約 15° で終わり、閾値 0.2 rad（11.5°）をわずかに上回った。
モデルの不一致（実物体は 1.25 kg・直径 0.59 m、シミュレーションでは 1.0 kg・0.6 m）があり、ドメインランダム化も用いなかったにもかかわらず、転移はゼロショットであった。

制限事項

ポリシーは学習データにない分布外の状態にしばしば反応できない。これは事前計算されたプリミティブの帰結であり、実機でより頻繁に起こる。
プランナーは任意のシステム構成から解を見つけられないため、DAgger 型の修正を適用するのは難しい。
IiwaBimanual のポリシーは時計回りと反時計回りの回転の間で振動することがあり、必要以上に時間がかかることが多い。AllegroHand のポリシーは必要より長いプリミティブ系列を使うことがある。
統一された AllegroHand ポリシーにとって最適なデータの混合比率は未解決であり、ぎこちなさを減らすために前回の行動予測で推論をウォームスタートすることは今後の課題とされている。
学習時にもデータ生成時にも、物体やロボットの形状や摩擦のドメインランダム化は用いられていない。

分野への影響

本論文は RA-L Best Paper Award（RA-L 2026 として掲載）を受賞し、被引用数は 23 である。実機実験の動画（https://youtu.be/CxgjJmiiEhI）を公開しているが、論文にはコードやデータセットの公開についての記載はない。

概要

ロボットマニピュレーションにおける行動クローニング（BC）の大きな成功は、主に人間の遠隔操作によってデモンストレーションを効果的に収集できるタスクに限られてきた。しかし、複数の接触の複雑な協調を必要とする接触の多いマニピュレーションタスクのデモンストレーションは、現在の遠隔操作インターフェースの制約のために収集が難しい。我々は、接触の多い器用なマニピュレーションタスクの学習データを生成するために、モデルベースの計画と最適化をどのように活用するかを調べる。我々の分析により、rapidly exploring random tree（RRT）のような一般的なサンプリングベースのプランナーは、動作計画には効率的である一方、好ましくないほど高いエントロピーを持つデモンストレーションを生成することが明らかになった。このことから、解の多様性を保ちつつデモンストレーションの一貫性を優先するよう、データ生成パイプラインに修正を加えた。拡散ベースのゴール条件付き BC 手法と組み合わせることで、我々の手法は、二つの困難な接触の多いマニピュレーションタスクにおいて、効果的なポリシー学習と実機へのゼロショット転移を可能にする。

リンク

arXiv 2412.09743: https://arxiv.org/abs/2412.09743
DOI 10.1109/LRA.2025.3564701: https://doi.org/10.1109/LRA.2025.3564701
PDF: https://arxiv.org/pdf/2412.09743v1