Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

R3M: A Universal Visual Representation for Robot Manipulation

著者: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

R3M は Ego4D の動画とキャプションで、凍結した ResNet エンコーダを事前学習する。その上での行動クローニングは、12 のシミュレーションタスクと、20 回のデモによる実機の Franka で、CLIP、MoCo、ImageNet の特徴を上回る。

重要な理由

エンコーダは、1 回の呼び出しで読み込める事前学習済みの ResNet18、ResNet34、ResNet50 の重みとして公開されているため、チームは視覚部分のためにドメイン内のデータを収集することなく、少数のデモンストレーションから画像ベースのマニピュレーション方策を学習できる。実ロボットのタスクは、大学院生のアパートで、それぞれ 20 回の遠隔操作によるデモンストレーションから学習された。

課題

画像ベースのマニピュレーション方策を対象ドメインのデータでエンドツーエンドに学習するには大量のデータが必要で、汎化性能も低い。ロボティクスには、ImageNet の特徴や BERT に匹敵する、ダウンロードしてどのマニピュレーションタスクにも再利用できる事前学習済みの視覚モデルがなく、既存のロボットデータセットは限られた数のタスクを、多くてもごく少数の環境でしか扱っていない。

提案手法

R3M は、言語アノテーション付きの一人称視点の人間の動画 3,500 時間以上からなる Ego4D で ResNet 画像エンコーダを学習する。用いる項は 3 つである。時間的に近いフレームが近くに埋め込まれるようにする時間対照損失、クリップの最初のフレームから後のフレームへの変化がそのキャプションと一致するかを評価する動画と言語の整合損失、そして疎でコンパクトな埋め込みのための L1 と L2 のペナルティである。その後エンコーダは凍結され、下流の方策は、画像の埋め込みとロボットの固有受容を連結したものに対する 2 層の MLP として、行動クローニングで学習される。

主な知見

  • 日常的な人間の動画（Ego4D）は、エンボディメントがロボットと異なるにもかかわらず、ロボットの視覚表現の事前学習データとして使える。
  • 3 つの学習項はいずれも寄与している。動画と言語の整合を除くと最も大きく低下し、環境全体の平均で 62.4% から 53.2% に、Adroit で 65.0% から 45.6% に下がる。
  • データだけでは向上を説明できない。Franka Kitchen と Adroit で、同じ Ego4D のフレームで学習した MoCo は R3M より約 10% 低く、MVP モデルは約 20% 低い。
  • スパース性のペナルティは Franka Kitchen と MetaWorld では役立つが、Adroit では除いたほうがわずかに良く、著者らはこれを Adroit がより多くのデモンストレーションを用いているためだと推測している。
  • R3M の優位は、テストしたすべてのカメラ視点とデモンストレーション数で維持されたが、CLIP と MoCo (345) の順位は視点によって入れ替わった。

主な結果

  • MetaWorld、Franka Kitchen、Adroit の 12 のシミュレーションタスクで、R3M は平均成功率約 62% に達し、スクラッチからの学習より 20% 以上、CLIP、教師あり ImageNet、MoCo (345) の特徴より 10% 以上高い。
  • R3M は 3 つのシミュレーション環境すべてと、12 タスク中 11 タスクで最良の手法である。
  • アブレーション（Table 1、全ドメイン）：完全な R3M 62.4%、クロップによる拡張なし 60.4%、L1 ペナルティなし 59.4%、言語の整合なし 53.2%。
  • データと目的関数の比較（Table 2）：Franka Kitchen で R3M 53.1%、Ego4D で学習した MoCo 42.0%、MVP 27.0%。Adroit では 65.0%、54.9%、51.4%。
  • 実機の Franka Emika Panda、タスクごとに 20 回のデモンストレーションと 10 回の試行：R3M の平均は 56%、CLIP は 24%（引き出しを閉める 80% 対 70%、マスクをドレッサーに入れる 30% 対 10%、レタスをフライパンに入れる 60% 対 0%、マグを押す 70% 対 40%、タオルをたたむ 40% 対 0%）。

制限事項

  • 評価は模倣学習、具体的には少数のデモンストレーションによる行動クローニングに限られている。強化学習に適した事前学習表現は、模倣学習に適したものとは異なる可能性がある。
  • R3M が提供するのは単一フレームの状態表現のみである。それや言語グラウンディングモジュールを報酬学習やタスク指定に用いることは今後の課題とされている。
  • MoCo (345) のベースラインは Parisi らとは設定が異なる（固有受容、フレームのスタッキング）ため、その数値を 2 つの研究の間で直接比較することはできない。
  • 実ロボットでの比較は R3M と CLIP のみで、タスクごとに 10 回の試行である。
  • シミュレーションの成功率は、1,000 学習ステップごとの評価で達した最良の値を、シード、視点、デモンストレーション数について平均したものである。

分野への影響

被引用数 541。著者らは、ResNet18、ResNet34、ResNet50 をバックボーンとする事前学習済みの R3M モデルを学習コードとともに公開している。

概要

多様な人間の動画データで事前学習した視覚表現が、下流のロボットマニピュレーションタスクのデータ効率の高い学習をどのように可能にするかを研究する。具体的には、時間対照学習、動画と言語の整合、そして疎でコンパクトな表現を促す L1 ペナルティを組み合わせ、Ego4D の人間の動画データセットを用いて視覚表現を事前学習する。得られた表現 R3M は、下流の方策学習のための凍結した知覚モジュールとして使用できる。12 のシミュレーション上のロボットマニピュレーションタスク群において、R3M はスクラッチからの学習と比べてタスク成功率を 20% 以上、CLIP や MoCo のような最先端の視覚表現と比べて 10% 以上向上させることがわかった。さらに、R3M により、Franka Emika Panda アームは、わずか 20 回のデモンストレーションで、実際の散らかったアパートにおいてさまざまなマニピュレーションタスクを学習できる。

リンク

  • arXiv 2203.12601: https://arxiv.org/abs/2203.12601
  • DOI https://doi.org/10.48550/arxiv.2203.12601: https://doi.org/https://doi.org/10.48550/arxiv.2203.12601
  • PDF: https://proceedings.mlr.press/v205/nair23a/nair23a.pdf
  • コード: https://github.com/facebookresearch/r3m
  • プロジェクトページ: https://sites.google.com/view/robot-r3m

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。