MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

著者: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

MimicPlay は、10 分間の人間の手のプレイ動画から潜在プランナを、少数の遠隔操作デモから計画に導かれるトランスフォーマーコントローラを学習し、Franka アームでの長期ホライズンの成功率を高める。

重要な理由

人間のプレイデータには、ロボット、タスクラベル、環境のリセットが不要である。ロボットの遠隔操作で 90 秒かかることを人間は約 5 秒で終え、10 分間のプレイは 3 時間の遠隔操作データセットにほぼ相当する。人間の動作とロボットのスキルが 1 つの潜在計画空間を共有するため、人間の動画をそのままロボットへのゴールのプロンプトとして使うこともできる。

課題

長期ホライズンのデモンストレーションは収集に時間と手間がかかるため、模倣学習はこれまで主に短期ホライズンのプリミティブに限られてきた。ロボットのプレイデータからの学習は役立つが、依然として数時間の遠隔操作が必要であり、たとえば C-BeT では 4.5 時間、TACO-RL では 6 時間を要する。

提案手法

MimicPlay は学習をデータ源ごとに分ける。ゴール条件付きの潜在プランナは、シーンごとに 10 分間の人間のプレイ動画で学習され、2 台の較正済みカメラで追跡した将来の 3D の手の軌道を、混合ガウスモデル（Gaussian Mixture Model）のヘッドによって予測する。同時に、KL 損失によって人間とロボットの視覚特徴を揃える。次に、タスクごとに 20–40 件の遠隔操作デモンストレーションで学習した GPT 型のトランスフォーマー方策が、凍結したプランナの潜在計画と、手首カメラおよび固有受容感覚の入力を、エンドエフェクタとグリッパの指令に写像する。

主な知見

高レベルの計画は安価な人間のプレイデータから学習でき、低レベルの制御は身体性のギャップがない遠隔操作のデモンストレーションから得られる。
人間の手の多峰的な軌道を捉えるには GMM ヘッドが必要である。これがないと、プランナの汎化性能は人間のデータなしで学習した変種よりも悪かった。
エンコーダの特徴分布に対する KL 損失により、ペアデータなしで人間とロボットの視覚的なギャップが狭まり、t-SNE における人間とロボットの特徴分布の重なりが 23% 大きくなった。
人間のプレイデータを半分ではなく 10 分間すべて用いると、未見のサブゴールの組み合わせへの汎化が向上する。
事前学習した潜在計画は、LMP や R3M-BC などのエンドツーエンドの手法と比べて、単一タスクから複数タスクの学習に移る際の性能低下を小さくする。

主な結果

Kitchen、長期ホライズン、3 タスクすべて（表 1）：デモ 20 件で成功率 0.47、40 件で 0.70。ベースラインは最大でも 0.07 と 0.17、人間のデータなしの変種は 0.23 / 0.40 であった。
Study Desk（表 2、デモ 20 件）：学習済みタスクで 0.55、未見のタスクの組み合わせで 0.47。GC-BC（BC-trans）と LMP は 0.00、人間のデータなしの変種は 0.20 / 0.10 であった。
Flower、Whiteboard、Sandwich、Cloth にわたる複数タスク（表 3）：1 つの共有モデルで 0.55、タスクごとに 1 モデルで 0.58。LMP は 0.13 から 0.05 に、R3M は 0.25 から 0.15 に低下した。
KL 損失なしでは、学習済みタスクの成功率は 0.38（0.55 より 17% 低い）に下がる。GMM なしでは、学習済みタスクで 0.28、未見のタスクで 0.07 である。
ロボットのプレイデータしか利用できない LIBERO のシミュレーションでは、人間のデータなしの階層型の変種が長期ホライズンのタスクで 0.29–0.67 に達し、GC-BC のベースラインは 0.00 であった（5 シード、100 試行）。
システム全体は 17 Hz で動作し、たたんだタオルを広げるといった人間による外乱の後に再計画できる速さである。第 4 節では制御周波数を 20 Hz とし、付録では 17–20 Hz としている。

制限事項

潜在計画はシーン固有の人間のプレイデータから学習されている。インターネット規模のデータで学習すればスケーラビリティが向上しうる（著者らの記述）。
タスクは卓上の設定に限られ、モバイルマニピュレーションは扱われていない（著者らの記述）。
クロスエンボディメントの表現学習には、たとえば時間的な対照学習やサイクル一貫性学習などによって改善の余地がある（著者らの記述）。
複数タスクの学習では、ホワイトボードのタスクの成功率が 0.5 から 0.2 に低下した。著者らはこれを、ホワイトボードのデモンストレーションが短くデータセットが偏ったためとしている。
3D の手の追跡には較正済みの 2 台のカメラ構成が必要であり、人間のプレイの部分はシミュレーションで試験できなかった。

分野への影響

CoRL 2023 Best Systems Paper Award のファイナリストであり、CoRL 2023 Best Paper / Best Student Paper の合同ファイナリストリストにも入っている。被引用数は 415 である。実装コードは github.com/j96w/MimicPlay で公開されており、動画はプロジェクトページにある。

概要

人間のデモンストレーションからの模倣学習は、実世界でロボットにマニピュレーションのスキルを教えるための有望なパラダイムである。しかし、複雑な長期ホライズンのタスクを学習するには、入手不可能なほど大量のデモンストレーションが必要になることが多い。この高いデータ要求を減らすため、我々は人間のプレイデータ、すなわち人が手を使って環境と自由に相互作用する動画のシーケンスに頼る。形態が異なっていても、人間のプレイデータには物理的な相互作用に関する豊富で顕著な情報が含まれており、ロボットの方策学習を容易に促進できるという仮説を立てる。これを動機として、人間のプレイデータから潜在的な計画を学習し、少数の遠隔操作によるデモンストレーションで学習した低レベルの視覚運動制御を導く、MimicPlay という階層的な学習フレームワークを提案する。実世界における 14 の長期ホライズンのマニピュレーションタスクの体系的な評価を通じて、MimicPlay がタスク成功率、汎化能力、外乱へのロバスト性において最先端の模倣学習手法を上回ることを示す。コードと動画は mimic-play.github.io で公開されている。

リンク

arXiv 2302.12422: https://arxiv.org/abs/2302.12422
DOI 10.48550/arXiv.2302.12422: https://doi.org/10.48550/arXiv.2302.12422
PDF: https://proceedings.mlr.press/v229/wang23a/wang23a.pdf
コード: https://github.com/j96w/MimicPlay
プロジェクトページ: https://mimic-play.github.io/