XIRL: Cross-embodiment Inverse Reinforcement Learning

著者: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

異なるエンボディメントの実演者の動画から学習した時間的サイクル一貫性埋め込みが、ゴールまでの距離に基づく報酬を与え、未知のエンボディメントで RL の方策を学習させる。

重要な理由

この報酬に必要なのは動画だけである。行動ラベルも対応フレームも、カメラ以外の環境への計測機器の設置も不要である。論文の実験では、同じ学習済み報酬により、デモンストレーションの集合に含まれない身体を持つエージェントが学習された。これは人間の動画からロボットに教える場合の状況にあたる。

課題

ロボットは、人間がタスクを実演する動画のような三人称視点の動画からタスクを学習できる可能性があるが、実演者の身体はロボットとは異なるため、それぞれ異なる戦略と軌道でタスクを解く。以前の報酬学習手法は、参照軌道、時間インデックスの整列、または実演者と学習者の間の人手でラベル付けされたフレーム対応を必要としていた。

提案手法

XIRL は、複数のエンボディメントから集めた観測のみの動画に対し、エンボディメントのラベルを使わずに、時間的サイクル一貫性（TCC）で ResNet-18 画像エンコーダを学習する。報酬は、現在のフレームの埋め込みとデモンストレーションの最終フレームの平均埋め込みとの間の、温度でスケーリングした負の二乗距離のシグモイドであり、この報酬で新しいエンボディメント向けの Soft Actor-Critic 方策を学習する。

主な知見

• TCC 埋め込みはタスクの進行度を符号化するため、単一のゴール埋め込みまでの距離により、参照軌道や時間インデックスの整列なしに密な報酬が得られる。
• デモンストレーションの総数を 1000 に固定したまま、より多くのエンボディメントのデモンストレーションをまとめると、除外したエンボディメントでの RL が速くなった。
• 身体が異なると、同じタスクの解き方も大きく異なる。X-MAGICAL では、デモンストレーションの平均の長さは 48.0 ステップ（long-stick）から 110.8 ステップ（gripper）まで幅がある。
• 学習された報酬は部分的な進行に対して部分的な評価を与える。例えば引き出しにぶつかる前にそちらへ向かって移動した場合で、このときスパースな環境報酬はゼロのままである。

主な結果

• 同一エンボディメントでの X-MAGICAL の掃き寄せタスク：XIRL のサンプル効率は他の学習済み報酬と少なくとも同等であり、4 つのエンボディメントのうち 3 つで環境報酬よりサンプル効率が高かった。
• クロスエンボディメント、4 つのエージェントのそれぞれを除外し、残りの 3 つでエンコーダを学習：XIRL は新しいエージェントに対し、TCN、LIFS、ゴール分類器による報酬よりも有意に良く汎化した（5 シード、各 50 評価エピソード）。
• RLV データセットの実際の人間の動画で、シミュレーション上の Sawyer アームにブロックを押させる学習：XIRL とスパース報酬の組み合わせは、RLV やスパース報酬のみよりもサンプル効率が高く、報酬学習に対応フレームのラベルやロボットドメインのデータを用いていない。
• X-REAL：9 種類のエンドエフェクタ（人間の手、スキー手袋、キッチントング、ロブスターの手の着ぐるみ、ピンセット、クランプ、マジックハンド）で 5 本のペンを 2 つのカップに移す 93 本の実動画。One Hand 5 Fingers では、未完了の試行は成功した試行のおよそ半分の報酬を得た。
• X-MAGICAL ベンチマーク：4 つのシミュレーション上のエンボディメント、それぞれ 1000 件のエキスパートデモンストレーション。

制限事項

• 実ロボットで方策は学習されていない。著者らは、実ロボットでの方策学習をまだ示していないと述べている。
• X-MAGICAL は PyMunk 上に構築された 2D の掃き寄せタスクであり、著者らは実世界のシナリオを大幅に単純化したものだと説明している。
• デモンストレーションには成功した軌道のみが含まれるため、汎化性能の低いエンコーダは意図と異なるタスクを定義してしまう可能性がある。論文は学習済み報酬をスパースなタスク報酬と組み合わせることを提案している。
• X-REAL の実世界データセットについて、論文が示しているのは学習された報酬曲線のみで、方策学習は示されていない。
• 結果の大半は成功率の表ではなく学習曲線として示されているため、報告されている正確な数値は少ない。

分野への影響

CoRL 2021 Best Paper Award のファイナリストで、記載の被引用数は 182。論文は X-MAGICAL ベンチマークと X-REAL データセットを導入している。ライセンスされた v1 版には、コードとデータセットを公開予定とあるがリンクは記載されていない。

概要

我々は、視覚的なクロスエンボディメント模倣の設定を調べる。この設定では、エージェントは同じタスクを実演する他のエージェント（人間など）の動画から方策を学習するが、それらのエンボディメント（形状、行動、エンドエフェクタのダイナミクスなど）には大きな違いがある。本研究では、こうした違いにロバストな視覚ベースの報酬関数を、クロスエンボディメントのデモンストレーション動画から自動的に発見し学習できることを示す。具体的には、自己教師ありのクロスエンボディメント逆強化学習（Cross-embodiment Inverse Reinforcement Learning, XIRL）手法を提案する。この手法は時間的サイクル一貫性制約を活用し、複数のエキスパートエージェントによるデモンストレーションのオフライン動画から、タスクの進行度を捉える深層視覚埋め込みを学習する。各エージェントはエンボディメントの違いにより、同じタスクを異なる方法で実行する。我々の研究以前は、自己教師あり埋め込みから報酬を生成するには通常、参照軌道との整列が必要であり、参照軌道は取得が難しい場合がある。我々は、埋め込みがタスクの進行度を捉えていれば、学習された埋め込み空間における現在の状態とゴール状態の間の負の距離を取るだけで、強化学習で方策を学習するための報酬として有用であることを実験的に示す。学習された報酬関数は、学習中に見たエンボディメントで機能するだけでなく、まったく新しいエンボディメントにも汎化することがわかった。また、XIRL の方策はベースラインよりサンプル効率が高く、場合によっては、真のスパース報酬で学習した同じエージェントのサンプル効率を上回ることもわかった。

リンク

• arXiv 2106.03911: https://arxiv.org/abs/2106.03911
• DOI 10.48550/arXiv.2106.03911: https://doi.org/10.48550/arXiv.2106.03911
• PDF: https://arxiv.org/pdf/2106.03911v1