Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

著者: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

HOPMan は Web 動画を用いて、シーン画像とゴール画像から将来の手と物体のマスクを予測し、その計画を Franka Panda の動作に翻訳して、16 のスキルと 40 種類の物体をゼロショットでカバーする。

重要な理由

手と物体がどう動くかについての知識の大部分は受動的な Web 動画から得られるため、ロボット固有のデータは少なくて済む。著者らは約 3 日で 600 本のペア軌道を収集した。一つのゴール条件付きポリシーを、未知の物体インスタンス、未知の物体とスキルの組み合わせ、未知の物体カテゴリ、未知のスキルでテストしており、改装していないキッチンやオフィスで移動ベースに載せたテストも含む。

課題

あらゆるタスク、物体、スキルについてロボットの相互作用データを集めることはスケールせず、最近の幅広い能力をもつシステムは何年分ものロボットデータを必要としながら、依然として主にピック、プレース、プッシュに限られている。人間の動画を視覚表現やアフォーダンスに使う手法も、なお多くのロボットのデモや展開時の訓練を必要とし、他の手法はタスクごとに別々のポリシーを学習する。

提案手法

ポリシーは 2 つに分解される。一つは、現在の画像とゴール画像から将来の手と物体のマスクを 7 フレーム予測するゴール条件付き拡散モデルで、EPIC-KITCHENS と Ego4D から得た約 150,000 本の 2 秒クリップで訓練する。もう一つは、予測したマスクと現在の観測を 8-D の動作（7 つの関節位置とグリッパーの開閉）に写像するトランスフォーマーの翻訳ポリシーである。翻訳モデルは、約 400 本のラボ内と 200 本の実環境での人間とロボットのペア軌道に加え、ロボットをインペインティングで消して人間の手をインペインティングで入れた約 1000 本のロボットのみの軌道で訓練する。

主な知見

手と操作対象物体のセマンティックマスクは、タスクに無関係なシーンの細部を落としたコンパクトな計画空間を形成し、整理されていない人間の動画から学習できる。
ポリシーを計画予測と計画から動作への翻訳に分けることで、大量のデータを必要とする部分は Web 動画から学習し、ロボット固有の部分は少量のペアデータだけで済む。
幻覚的に生成したペア（アームを人間の手にインペインティングしたロボット動画）は、不完全ではあるものの、実際のペアデータに加えると翻訳モデルを改善した。
論文は構造化された汎化の段階を提案している。軽度（既知の物体とスキルの新しい配置）、標準（新しいインスタンス、未知の物体とスキルの組み合わせ）、強（未知の物体カテゴリ、未知のスキル）である。

主な結果

HOPMan の卓上での成功率（%）、軽度 / インスタンス / 未知の組み合わせ / 未知のカテゴリ / 未知のスキルの汎化：68 / 58 / 50 / 40 / 25。ゴール条件付き BC は 43 / 20 / 13 / 0 / 0、VRB は 50 / 25 / 15 / 0 / 0。
HOPMan の実環境での成功率（%）：60 / 40 / 40 / 30 / 25。BC は 45 / 10 / 10 / 0 / 0、MimicPlay ベースの MP ベースラインは 50 / 15 / 10 / 0 / 0。
受動的な人間の動画だけで訓練した H2R は、卓上で 20 / 20 / 15 / 15 / 15、実環境で 15 / 10 / 15 / 15 / 10 を記録し、強い汎化でゼロを上回った唯一のベースラインだった。
真値の手と物体のマスクを与えた翻訳モデル単体（%）：ペアと幻覚データ 85 / 65 / 60 / 60 / 25、ペアのみ 85 / 60 / 50 / 30 / 15、幻覚のみ 30 / 25 / 25 / 20 / 0。
評価は、16 のスキルと 40 種類の物体（各 2 から 3 インスタンス）から構成した約 100 のタスクにわたる。

制限事項

著者らは、扱える未知のタスクの複雑さはまだ限られていると述べ、複数のスキルを組み合わせる長期タスクは今後の課題としている。
Web 動画から手と指の正確な関節姿勢を復元することは未解決の問題であるため、このフレームワークは巧緻操作では苦戦すると著者らは予想している。
強い汎化での成功率は、卓上で 25 から 40%、実環境で 25 から 30% にとどまる。
成功は最終的な物体の配置がゴール画像にどれだけ近いかを人手で確認して判定しており、設定ごとの試行回数は示されていない。

分野への影響

IEEE ICRA 2024 Best Paper Award in Robot Manipulation のファイナリストで、被引用数は 82。論文はロボットの動画を載せたプロジェクトサイトへリンクしているが、コードリポジトリは示していない。

概要

我々は、多様な操作スキルのレパートリーによって、未知の一般的な物体とゼロショットで相互作用できるロボットの開発を目指し、受動的な人間の動画がそうした汎用ロボットを学習するための豊富なデータ源になりうることを示す。ロボットがどう行動すべきかを相互作用データから直接学習する典型的なロボット学習手法とは異なり、我々は因数分解したアプローチを採る。大規模な人間の動画を活用して、人間が望むタスクをどう達成するか（人間の「計画」）を学習し、その後この計画をロボットの身体へ「翻訳」する。具体的には、シーンの現在の画像とゴール画像が与えられると、将来の手と物体の配置を予測する人間の「計画予測器」を学習する。これを、計画に条件付けられたロボット操作ポリシーを学習する「翻訳」モジュールと組み合わせることで、展開時の訓練なしに、汎用的な操作タスクについてゼロショットで人間の計画に従えるようにする。重要なのは、計画予測器は大規模な人間の動画を学習に活用できる一方、翻訳モジュールは少量のドメイン内データしか必要とせず、訓練中に見ていないタスクにも汎化できる点である。学習したシステムが 40 種類の物体に汎化する 16 を超える操作スキルを実行でき、卓上操作と多様な実環境での操作にわたる 100 の実世界タスクを網羅することを示す。https://homangab.github.io/hopman/

リンク

arXiv 2312.00775: https://arxiv.org/abs/2312.00775
DOI 10.1109/ICRA57147.2024.10610288: https://doi.org/10.1109/ICRA57147.2024.10610288
PDF: https://arxiv.org/pdf/2312.00775v1
プロジェクトページ: https://homangab.github.io/hopman/