Language-Driven Representation Learning for Robotics

著者: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

Voltron は Something-Something-v2 で言語条件付きのマスク再構成とキャプション生成を組み合わせ、5 つの問題からなる新しいロボティクス評価スイートで、データ量を揃えた MVP と R3M を上回る。

重要な理由

ロボット学習には、制御だけでなく、知覚と言語のグラウンディングのための視覚特徴も必要である。事前学習データとモデル容量を同じにした条件で、論文は事前学習に言語を用いると言語入力のないタスクでも結果が改善することを示し、これらの問題にわたって表現を比較するための 1 つの評価スイートを提供している。

課題

MVP（マスク付き自己符号化）や R3M（対照学習）など、人間の動画で事前学習された視覚表現は、主に視覚運動制御で評価されてきた。より広く試験すると、それらは一貫しない。MVP は把持アフォーダンス予測ではよいが言語条件付き模倣では苦戦し、R3M はその逆で、把持アフォーダンス予測では完全に性能が崩れる。

提案手法

Voltron は、動画フレームとそのキャプションを、トランスフォーマーエンコーダが視覚と言語を同時に埋め込むマスク付き自己符号化のパイプラインに入力する。確率 α で、キャプションで条件付ける代わりに視覚的な文脈からキャプションを生成し、低レベルの再構成特徴と高レベルの意味とをトレードオフする。3 つの変種、V–Cond（1 フレーム、α = 0）、V–Dual（2 フレーム、α = 0）、V–Gen（2 フレーム、α = 0.5）を調べている。著者らはまた、把持アフォーダンス予測、参照表現のグラウンディング、シミュレーションでの単一タスクの視覚運動制御、実機の Franka アームでの言語条件付き模倣、ゼロショットの意図スコアリングという 5 つの問題からなる評価スイートを構築している。

主な知見

テスト時に言語がなくても、マスク再構成を言語で条件付けることは役立つ。把持アフォーダンス予測では、V–Cond は R-MVP やより大きな MVP（EgoSoup）を上回る。
どの Voltron の変種もすべてで最良というわけではない。意図スコアリングには言語生成（V–Gen）が必要だが、一部の制御タスクでは性能を下げる。単一フレームの V–Cond は非エピソード的なタスクではよいが、制御では 2 フレームのモデルに劣る。
生成的な言語モデリングはマスク言語モデリングよりも安定していた。再現した M3AE は最初の 20 エポック以内に言語損失をパープレキシティ 1 まで過学習し、試験したすべての評価でスコアが低かった。
著者らは、参照表現のグラウンディングでの大きな向上について、別々のテキストと画像の符号化を後から組み合わせるのではなく、事前学習中にエンコーダの内部で視覚と言語を融合させたことによるものと説明している。
特徴抽出のためのマルチヘッドアテンションプーリング（MAP）は、すべての ViT モデルを改善し、元の MVP の研究の抽出手順と比べて視覚運動制御の成功率をほぼ 2 倍にした。

主な結果

把持アフォーダンス予測（ARC Grasping、ViT-S）：V–Cond は Top-1 / Top-1% / Top-5% の適合率で 85.15 / 80.71 / 47.45 で、R-MVP は 72.94 / 61.47 / 39.77、R-R3M は 40.38 / 40.55 / 28.66 であった（表 2）。
参照表現のグラウンディング（OCID-Ref、0.25 IoU での総合精度）：V–Cond は 89.38 で、R-R3M は 63.30、R-MVP + DistilBERT は 49.58、CLIP ViT-B は 68.35 であった（表 3）。
V–Cond を ViT-S（22M パラメータ）から ViT-B（86M）に拡大すると、把持の Top-5% 適合率は 47.45 から 62.33 に、参照表現の総合精度は 89.38 から 90.77 に向上する。
アブレーション（表 4）：言語なしでは、把持の Top-1% は 80.71 から 65.83 に、参照の精度は 89.38 から 53.44 に、Franka Kitchen の成功率（n = 25）は 38.2 ± 5.09 から 33.1 ± 4.79 に低下する。R-M3AE は 52.79、51.61、24.0 ± 4.21 であった。
WHiRL の動画でのゼロショットの意図スコアリング：V–Gen は人間とロボットの両方の動画で「蛇口を開ける」の進捗を追跡し、CLIP と R3M のスコアはノイズが大きい（定性的、図 7）。
実機での言語条件付き模倣（5 タスク、各 20 件のデモンストレーション）：Voltron のモデルが最も高い成功率を示し、R-MVP とともに視覚的な妨害物に対してロバストであった。これらの数値は図 6 でのみ報告されている。

制限事項

著者らには元の MVP や R3M の規模で学習する計算資源がなかった。直接比較には Something-Something-v2 での独自の再現を用いており、公式の MVP、R3M、CLIP のモデルは直接比較できないものとして示されている（著者らの記述）。
すべてのタスクで最も強い単一の表現はなく、低レベルと高レベルの特徴の間のトレードオフが残っている（著者らの記述）。
Franka Kitchen の制御での絶対的な成功率は依然として低く、限られたデータから閉ループの方策を学習することは未解決のままである（著者らの記述）。
4 フレームでは利用可能なメモリを超えたため、事前学習では最大 2 フレームの文脈しか用いておらず、α = 1（生成のみ）は評価されていない。
意図スコアは完全ではない。蛇口が開いた後、人間の動画ではスコアが高いままだが、ロボットの動画では次第に下がっていき、その理由を著者らは説明できなかった。

分野への影響

RSS 2023 Best Paper Award のファイナリストで、被引用数は 242 である。著者らは、事前学習済みの V–Cond、V–Dual、V–Gen のモデル（加えて ViT-Base の V–Cond と途中のチェックポイント）、事前学習と適応のコード、正確な学習バッチを含む前処理済みの Something-Something-v2 データ、そして単独の評価スイートを公開している。

概要

ロボティクスのための視覚表現学習の最近の研究は、人間が日常のタスクを行う大規模な動画データセットから学習することの実現可能性を示している。マスク付き自己符号化や対照学習などの手法を活用することで、これらの表現は視覚運動制御のための方策学習に強く転移する。しかし、ロボット学習は制御以外にも、把持アフォーダンス予測、言語条件付き模倣学習、人間とロボットの協働のための意図スコアリングなど、多様な問題を含む。まず、既存の表現がこれらのタスクにわたって一貫しない結果をもたらすことを示す。マスク付き自己符号化の手法は高レベルの意味を犠牲にして低レベルの空間的特徴を捉え、対照学習の手法はその逆を捉える。次に、人間の動画とそれに付随するキャプションからの言語駆動の表現学習のためのフレームワーク Voltron を提案する。Voltron は、低レベルの視覚パターンを学習するための言語条件付きの視覚再構成と、高レベルの意味を符号化するための視覚に根ざした言語生成とをトレードオフする。また、5 つの異なるロボット学習の問題にまたがる新しい評価スイートを構築する。これは、ロボティクスのための視覚表現を総合的に評価するための統一的なプラットフォームである。5 つの問題すべてにわたる包括的で統制された実験を通じて、Voltron の言語駆動の表現が、特に高レベルの特徴を必要とする対象問題において、従来の最先端を上回ることを見いだした。

リンク

arXiv 2302.12766: https://arxiv.org/abs/2302.12766
DOI 10.48550/arXiv.2302.12766: https://doi.org/10.48550/arXiv.2302.12766
PDF: https://arxiv.org/pdf/2302.12766v1
コード: https://github.com/siddk/voltron-robotics
プロジェクトページ: https://sites.google.com/view/voltron-robotics