Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

著者: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

両手の動きを 1-DoF のスクリュー関節としてモデル化し、人間の RGB-D 動画 1 本から抽出して、Tiago++ 上でスクリュー空間での探索により改善する。6 つのタスクで 18 試行中 16 試行が成功した。

重要な理由

本手法はタスクごとに RGB-D 動画 1 本を必要とするだけで、遠隔操作装置、モーションキャプチャ、シミュレータは不要である。探索をスクリュー軸に限定したことで、6-DoF のウェイポイント探索では失敗した 3 つのタスクが、実機ロボットでの 25 エピソード以内に成功に変わった。

課題

双腕マニピュレーションでは 2 本の腕を空間的・時間的に同期させる必要があり、行動空間が大きくなるため、実機ハードウェアでのランダムな探索は現実的でない。人間の動画は安価なデモンストレーション源であるが、手のトラッキングにはノイズがあり、人間とロボットの身体も異なるため、再生した動きは失敗して改善が必要となり、結局大きな探索空間に戻ってしまう。

提案手法

両手を直列の運動連鎖としてモデル化する生体力学の研究にならい、ScrewMimic はスクリュー行動を定義する。これは各手の把持点、左手に対する右手の運動を表す 1-DoF のスクリュー軸（直動、回転、または向きを固定した回転）、そして任意の左手の軌道からなる。手・物体検出器と FrankMocap を用いて 1 本の RGB-D 動画からこれを抽出し、幾何学的にデータ拡張した点群で PointNet モデルを学習させて新しい物体姿勢に対する予測を行い、失敗した予測は、エピソード長と手首の力・トルクセンサの値から自己生成した報酬を用いて、スクリュー軸空間での交差エントロピー法により改善する。成功した行動は予測器の再学習のために追加される。

主な知見

  • 物理的な関節がある場合（ボトル、ノートパソコン、ロール）もない場合（かき混ぜ、切断、ファスナー閉め）も、多くの両手タスクは両手の間の 1 つの仮想的な 1-DoF スクリュー関節で記述できる。
  • ノイズの多い手のトラッキング軌道をスクリュー軸に射影することで、ロボットが使う前にデモンストレーションを整えられる。
  • N×6-DoF のウェイポイントではなくスクリュー軸のパラメータ上で探索することで、実機でのファインチューニングが 25 エピソード以内で実現可能になる。
  • 両方の報酬項が必要である。把持喪失の検出か平均レンチによる順位付けのどちらかを欠くと、ボトル開けとかき混ぜは失敗した。
  • 成功したファインチューニング後の行動で予測器を再学習でき、その後は同じ物体でほぼゼロショットで成功し、同じカテゴリの新しい個体にも適応する。

主な結果

  • 新しい物体姿勢（Table I）：ボトルを開ける 2/3、ファスナーを閉める 3/3、ロールを差し込む 3/3、ノートパソコンを閉じる 3/3、かき混ぜる 2/3、切る 3/3、すなわち 18 試行中 16 試行で、論文はこれを全体で 90% の成功率と報告している。
  • 成功した試行には平均 7 から 18 エピソード（5 エピソードからなるエポックを 1 から 3 回）が必要で、上限は 25 エピソードであった。ファインチューニングには約 40 分かかる。
  • 行動空間のアブレーション（Table III）：スクリュー空間での探索は、ボトル、ロール、ノートパソコンで 25 エピソード中それぞれ 16、7、11 エピソード後に成功した。FM + N×6-DoF（DEFT 方式）と Screw + N×6-DoF の探索は、25 エピソード以内に 3 つとも失敗し、タスク達成度は 0–50% にとどまった。
  • 修正した行動での再学習（Table II）：同じ物体では、ボトル開けが 3 エポック/16 エピソードから 0/1 に、ロール差し込みが 1/7 から 0/2 になった。新しいボトルでは再学習したモデルが 2/14 を要し、さらに 1 ラウンド後には 0/1 となった。
  • 最大のノイズ（σ = 3.0 cm、12.5°）を加えた場合、抽出された軸は 2.1 cm と 13.1° ずれたが、ファインチューニングは 4 エポック、21 エピソード後に成功した。
  • ModelNet-40 で事前学習した PointNet は、未知のボトルでの軸誤差を減らし（例えば 0.09 m、6° から 0.03 m、4.2° に）、学習に用いたボトルでの誤差は変わらなかった。

制限事項

  • ジグザグに切るなど、両手が複数の軸に沿って動くタスクには、単一のスクリュー軸は適合しない。
  • 物体クラスごとに別々の予測モデルを学習するため、汎化が制限される。
  • エピソードの成否は手作業で記録され、必要に応じて人がシーンをリセットする。
  • ファインチューニングされるのはスクリュー軸だけで、把持の接触点はされない。深度センサがすべての角度から捉えられなかったため、ノートパソコンのような反射面は覆う必要があった。
  • 1 試行あたり最大 25 エピソードであるため、結果は最初にサンプリングされるスクリュー行動に依存する。失敗した 2 試行は、成功する行動を見つけられずに終わった。

分野への影響

RSS 2024 Outstanding Student Paper Award のファイナリストであり、被引用数は 44 である。公式プロジェクトページは github.com/UT-Austin-RobIn/ScrewMimic のコードにリンクしている。

概要

双腕マニピュレーションは、自由度が多く、意味のある行動を生成するために厳密な空間的・時間的同期が必要なため、ロボティクスにおける長年の課題である。人間は他者を観察し、遊びを通じて能力を磨くことで両手の操作スキルを学ぶ。本研究では、ロボットが人間の動画デモンストレーションから双腕マニピュレーションの行動を学習し、インタラクションを通じてファインチューニングできるようにすることを目指す。心理学と生体力学における先駆的な研究に着想を得て、両手の間のインタラクションを直列の運動学的リンク機構として、具体的にはスクリュー運動としてモデル化することを提案し、これを用いて双腕マニピュレーションの新しい行動空間であるスクリュー行動を定義する。この新しい行動表現を活用して、人間のデモンストレーションからの学習と自己教師ありのポリシーファインチューニングを容易にするフレームワーク ScrewMimic を導入する。実験により、ScrewMimic が単一の人間の動画デモンストレーションから複数の複雑な双腕行動を学習できること、そして両腕の元の運動空間で直接デモンストレーションを解釈しファインチューニングするベースラインを上回ることを示す。詳細と動画の結果は https://robin-lab.cs.utexas.edu/ScrewMimic/ を参照。

リンク

  • arXiv 2405.03666: https://arxiv.org/abs/2405.03666
  • DOI 10.48550/arXiv.2405.03666: https://doi.org/10.48550/arXiv.2405.03666
  • PDF: https://arxiv.org/pdf/2405.03666v1
  • コード: https://github.com/UT-Austin-RobIn/ScrewMimic
  • プロジェクトページ: https://robin-lab.cs.utexas.edu/ScrewMimic/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。