VIMA: General Robot Manipulation with Multimodal Prompts
著者: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023
ライセンス
- オープンアクセス
- 論文: CC BY 4.0
以下の内容はすべて、論文のライセンス(CC BY 4.0)に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。
要約
マニピュレーションタスクをテキストと画像が交互に並ぶプロンプトとして定式化し、ベンチマークVIMA-Benchを追加するとともに、Gato型の設計より汎化に優れた、物体トークンとクロスアテンションを用いるエージェントを提案する。
重要な理由
1つのプロンプトインターフェースで、目標到達、ワンショットの動画模倣、新しい概念のグラウンディング、制約充足をカバーするため、単一の方策をこれらにわたって学習・比較できる。アブレーションは具体的な設計指針を与える。可変長の物体トークンとクロスアテンションによる条件付けは、生ピクセルのトークナイザーやデコーダのみの条件付けを上回り、特に小さなモデルと新しいタスクでその差が大きい。
課題
ロボットのタスクは、ワンショットのデモンストレーション、言語指示、視覚的な目標など、さまざまな形で指定され、通常はアーキテクチャ、目的関数、データパイプラインがそれぞれ異なる専用モデルで扱われる。マルチモーダルプロンプトのタスク群と、汎化の体系的なテストを併せて提供するベンチマークはなかった。
提案手法
タスクはテキストと画像が交互に並ぶプロンプトとして記述される。VIMAは事前学習済みのT5-Baseエンコーダでプロンプトを符号化し、画像を物体トークン(Mask R-CNNのバウンディングボックスと、ViTで符号化した切り出し画像)に変換したうえで、因果的自己アテンションとプロンプトへのクロスアテンションを交互に行うトランスフォーマーで、ピックアンドプレースまたはプッシュのための離散化されたエンドエフェクタの姿勢をデコードする。学習はVIMA-Bench上での行動クローニングによる。VIMA-BenchはRavens/PyBulletを拡張したもので、17のタスクテンプレート、65万件の成功したエキスパート軌道(タスクごとに5万件、第3節。アブストラクトではこれを60万件以上と丸めている)、4段階の汎化プロトコルを備える。
主な知見
- 物体トークンは生ピクセルのトークナイザー(画像パッチ、Image Perceiver、単一画像トークン)を上回る。著者らは、ピクセルのトークナイザーがピクセルから物体を解析することに容量を費やしているという仮説を立てている。
- 物体を固定数のトークンにダウンサンプリングする方式(Object Perceiver)は、同じバウンディングボックスを入力しても、可変長の物体列をそのまま渡す方式より大幅に劣る。
- クロスアテンションによる条件付けは、小さなモデルサイズとL4の新しいタスクで最も重要になる。大きなモデルでは、デコーダのみの変種でも同程度の性能に達する。
- プロンプトエンコーダのサイズ(T5 small 3,000万、base 1.11億、large 3.68億)による有意な差はなかったため、T5-Baseを既定としている。
- 物体の拡張(偽陽性の検出をランダムに注入する)を用いると、ファインチューニングしたMask R-CNNは、正解のバウンディングボックスと比べてほとんど性能を落とさない。
主な結果
- 2億パラメータのコントローラ:VIMA-Benchでの平均成功率は81.5%(L1)、81.5%(L2)、78.7%(L3)、48.6%(L4)、VIMA-Gatoはそれぞれ58.0%、53.1%、46.0%、16.8%。
- L4(新しいタスク)、2,000万パラメータのコントローラ:VIMAは48.8%、VIMA-Gatoは12.3%で、これが「最大2.9倍」という相対的な改善の根拠である。
- データの10%で学習したVIMAはL4で46%に達し、全データセットで学習したVIMA-Gatoは12.2%(「2.7倍」という数字)。
- データの1%でも、VIMAはL1とL2で、10倍のデータで学習したベースラインと同程度の性能を示す。
- より難しいレベルに進むと、VIMAはL1からL2、L3への低下がごくわずかであるのに対し、ベースラインは最大20%低下する。L4でのVIMAの低下幅はベースラインの半分である。
制限事項
- 別個の物体検出器に依存し、その誤りを引き継ぐ。誤りは遮蔽がある場合や、分布外の物体形状で生じうる。
- シミュレータのリアリズムとタスクの複雑さには限りがある。VIMA-Benchが対象とするのはマルチタスク能力、汎化、マルチモーダルな理解であり、物理的なリアリズムではない。
- 動作プリミティブは限られている。Transporter由来の高レベルなピックアンドプレースとプッシュ/ワイプの動作のみで、関節トルクのような低レベルの制御には変更が必要になる。
- 実験はすべてシミュレーションであり、論文は独自の実機ロボット実験を報告していない。
- VIMAを含むすべての手法がL4の新しいタスクで大きく性能を落とし、VIMAの平均成功率も50%を下回る。
分野への影響
ICML 2023で発表。Semantic Scholarでの被引用数は655件(2026年11月14日時点)。著者らはシミュレーション環境(VIMA-Bench)、学習データセット、アルゴリズムのコード、事前学習済みモデルのチェックポイントをオープンソースで公開している。
概要
プロンプトに基づく学習は自然言語処理において成功したパラダイムとして台頭しており、単一の汎用言語モデルに、入力プロンプトで指定したあらゆるタスクを実行させることができる。しかしロボティクスにおけるタスクの指定は、ワンショットのデモンストレーションの模倣、言語指示への追従、視覚的な目標への到達など、さまざまな形をとる。これらは多くの場合、別々のタスクとみなされ、専用のモデルで扱われる。私たちは、幅広いロボットマニピュレーションタスクが、テキストと視覚のトークンを交互に並べたマルチモーダルプロンプトで表現できることを示す。これに基づき、マルチモーダルプロンプトを持つ手続き的に生成された数千の卓上タスク、模倣学習用の60万件以上のエキスパート軌道、体系的な汎化のための4段階の評価プロトコルからなる新しいシミュレーションベンチマークを開発した。さらに、これらのプロンプトを処理し、モーター動作を自己回帰的に出力するトランスフォーマーベースのロボットエージェントVIMAを設計した。VIMAは、高いモデルのスケーラビリティとデータ効率を実現する設計を備えている。最も難しいゼロショット汎化の設定では、同じ学習データのもとで、他の設計をタスク成功率で最大2.9倍上回る。学習データが10分の1でも、VIMAは最良の競合する変種より2.7倍高い性能を示す。コードと動画デモは https://vimalabs.github.io/ で公開している。
リンク
- arXiv 2210.03094: https://arxiv.org/abs/2210.03094
- PDF: https://arxiv.org/pdf/2210.03094v2
- コード: https://github.com/vimalabs/VIMA
- プロジェクトページ: https://vimalabs.github.io/