PaLM-E: An Embodied Multimodal Language Model
著者: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023
ライセンス
- オープンアクセス
- 論文: arXiv.org perpetual, non-exclusive license 1.0
arXivのライセンスに従い、以下の内容はすべてアブストラクトのみから書かれています。
概要
大規模言語モデルは幅広い複雑なタスクで優れた性能を発揮する。しかし、ロボティクスの問題など、現実世界での汎用的な推論を可能にするには、グラウンディングという課題がある。私たちは、現実世界の連続的なセンサーモダリティを言語モデルに直接取り込み、それによって単語と知覚を結びつける、身体性を持つ言語モデルを提案する。この言語モデルへの入力は、視覚、連続的な状態推定、テキストの入力エンコーディングを交互に並べたマルチモーダルな文である。これらのエンコーディングを、事前学習済みの大規模言語モデルと合わせてエンドツーエンドで学習し、逐次的なロボットマニピュレーション計画、視覚的質問応答、キャプション生成を含む複数の身体性タスクに用いる。評価の結果、単一の大規模な身体性マルチモーダルモデルであるPaLM-Eは、多様な観測モダリティから、複数の身体形態において、さまざまな身体性推論タスクに対応でき、さらに正の転移を示すことがわかった。すなわち、モデルはインターネット規模の言語、視覚、視覚言語の各ドメインにわたる多様な共同学習の恩恵を受ける。最大のモデルである5,620億パラメータのPaLM-E-562Bは、ロボティクスのタスクで学習されているうえに、OK-VQAで最先端の性能を持つ視覚言語のジェネラリストでもあり、規模の拡大に伴って汎用的な言語能力も保持している。
リンク
- arXiv 2303.03378: https://arxiv.org/abs/2303.03378
- PDF: https://arxiv.org/pdf/2303.03378