Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

著者: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

ライセンス

  • オープンアクセス
  • 論文: CC0 1.0 Universal

以下の内容はすべて、著者が CC0 1.0 Universal のもとで公開した論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

FISH は、固定の開ループまたは最近傍のベース方策に学習した残差を加え、1–3 件のデモとの最適輸送によるマッチングを報酬とし、未見の物体位置に ≤20 分で適応する。

重要な理由

タスクの入力は 1 分未満のデモンストレーションだけであり、状態推定、手作りの報酬、大規模なデモンストレーションセットは不要で、オンライン学習も 20 分が上限である。残差のみを学習するため、探索を選んだ行動の次元に限定でき、著者らは、これにより ROT が Allegro Hand ですべての次元を探索した際に見られた危険な指の衝突や姿勢を回避できたことを示している。

課題

視覚模倣の方策は、物体の位置などの変動をカバーするために多くのデモンストレーションを必要とする。論文は、MIME でタスクあたり 400 件、robomimic で 200 件という数を挙げている。オフライン方策をオンラインの RL で適応させればこれを減らせるが、RL には報酬が必要であり、物体の状態を推定できない場合、タスク固有の報酬を作るのは難しい。

提案手法

FISH は 2 つの段階で動作する。まず、弱い非パラメトリックなベース方策（開ループの再生、または VINN による最近傍検索）を、約 1 分間のデモンストレーション（1–3 本の軌道）に当てはめる。次に、n ステップ DDPG で学習した残差方策が、ベース行動に補正オフセットを加える。報酬は、ロボットのカメラ観測とデモンストレーションの間の Sinkhorn 最適輸送によるマッチングであり、行動クローニングから取り出した凍結エンコーダで計算される。

主な知見

  • ベース方策を固定して残差のオフセットのみを学習するほうが、BC 方策をオンラインでファインチューニングする方法（ROT）よりも、表 I のすべてのタスクで優れていた。
  • この少データの領域では、非パラメトリックなベース方策（VINN、開ループ）のほうがパラメトリックな BC よりもうまく機能した。BC は Allegro Hand の 16 次元の行動空間で性能が低かった。
  • 少数のドメイン内デモンストレーションで行動クローニングにより学習したエンコーダは、大規模なドメイン外データで事前学習した ImageNet、R3M、MVP のエンコーダよりも良い結果をもたらした。
  • エンコーダの凍結（OT 報酬を定常に保つため）と、ベース行動による残差の条件付けはどちらも必要であり、いずれかを除くと成功率が下がった（表 V）。
  • 残差の探索を選んだ行動軸に限定するとサンプル効率が向上した一方、オフセットをゼロに向けて適応的に正則化すると性能が低下した。

主な結果

  • 3 台のロボットでの 9 つの実世界タスクにわたる平均成功率は 93% で、従来手法の約 3.8 倍（要旨）。序論では同じ数値を、20 分間のオンラインの相互作用による「成功率の 93% の向上」と表現している。
  • 表 I：ドア開け、引き出し開け、照明のスイッチ操作（Stretch、各 5 試行）と、キューブの反転、ボトルキャップの回転（Allegro Hand）で 1.0。ドル紙幣のつまみ上げで 0.8、ペグのカップへの挿入とベーグルの反転で 0.9、鍵の挿入で 0.8（各 10 試行）。
  • 表 I の個々のタスクで最良のベースラインでも最大 0.6（照明のスイッチ操作と鍵の挿入での ROT）にとどまる。ドア開け、引き出し開け、キューブの反転、ボトルキャップの回転では、0.2 を超えるベースラインはない。
  • 適応的なオフセット正則化なしでは、ベーグルの反転で成功率 0.9、ドル紙幣のつまみ上げで 0.8 であり、正則化ありではそれぞれ 0.4 と 0.4 であった（表 II）。
  • BC エンコーダを事前学習済みのエンコーダに置き換えると、ベーグルの反転は 0.9 から 0.0（ImageNet）、0.0（R3M）、0.3（MVP）に、ドル紙幣のつまみ上げは 0.8 から 0.0、0.1、0.0 に低下した（表 IV）。
  • 新しい物体に対して 5 分間のオンライン学習を行った後の成功率は、パン類で 0.9 から 0.0、紙幣とカード類で 0.8 から 0.0 の範囲であった。柔らかい平たいパンと厚い財布では完全に失敗した（図 8）。

制限事項

  • OT 報酬はロボットをデモンストレーションに合わせるため、本手法はデモンストレーターが熟練者であることに依存する（著者らの記述）。
  • 視覚のみの入力では、画像のごく一部にしか写らない鍵穴を見つけるなど、視覚的な手がかりが弱い精密なタスクが難しい。著者らは触覚センシングを提案している（著者らの記述）。
  • 残差方策はランダムに初期化される。著者らは、これを事前学習すれば、より精密な制御を要する難しいタスクに役立つ可能性があると述べている（著者らの記述）。
  • 物体がデモンストレーションの物体と異なるほど成功率は下がり、平たいパンと財布では完全な失敗に至る。
  • 各タスクは、10 の物体位置（xArm、Allegro Hand）または 5 つのロボットの初期状態（Stretch）で評価されている。

分野への影響

RSS 2023 Best Student Paper Award を受賞し、被引用数は 113 である。著者らは fast-imitation.github.io を通じてコードとロボットの動画を公開しており、プロジェクトページにはコードリポジトリへのリンクがある。

概要

模倣学習はロボットを訓練するための効率的なツールキットを提供するが、環境の変動に対してロバストなスキルを学習することは依然として大きな課題である。現在のアプローチは、環境の変動を網羅する大量のデモンストレーションか、状態推定を必要とする手作りの報酬関数のいずれかに頼ることでこの課題に対処している。どちらの方向も、素早い模倣にはスケールしない。本研究では、1 分未満の人間のデモンストレーションでロバストな視覚スキルを学習できる新しい模倣学習の手法、Fast Imitation of Skills from Humans（FISH）を提示する。デモンストレーションのオフライン模倣で学習した弱いベース方策が与えられると、FISH はロボットの行動とデモンストレーションの「一致」に対応する報酬を計算する。これらの報酬を用いて、ベース方策に上乗せされる残差方策を適応的に更新する。すべてのタスクにおいて、FISH はデモンストレーションで見られなかった物体の配置でデモンストレーションを模倣するために、最大でも 20 分の対話的な学習しか必要としない。重要な点として、FISH は汎用的に構成されており、さまざまなロボットの形態（例：xArm、Allegro、Stretch）やカメラの構成（例：三人称視点、アイインハンド）で使用できる。9 つの異なるタスクでの実験的評価により、FISH が平均成功率 93% を達成し、これは従来の最先端手法の約 3.8 倍であることが示された。

リンク

  • arXiv 2303.01497: https://arxiv.org/abs/2303.01497
  • DOI 10.48550/arXiv.2303.01497: https://doi.org/10.48550/arXiv.2303.01497
  • PDF: https://arxiv.org/pdf/2303.01497v1
  • コード: https://github.com/siddhanthaldar/FISH
  • プロジェクトページ: https://fast-imitation.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。