A Generalist Agent
著者: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022
ライセンス
- オープンアクセス
- 論文: CC BY 4.0
以下の内容はすべて、論文のライセンス(CC BY 4.0)に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。
要約
Gatoはテキスト、画像、固有受容感覚、行動を1つのトークン列に変換し、単一の12億パラメータのトランスフォーマーを604のタスクで学習する。その中には実機のSawyerアームによるブロック積みも含まれる。
重要な理由
この論文は、1つのネットワークと1組の重みで、Atariのプレイ、画像のキャプション生成、チャット、実機のロボットアームによるブロック積みができることを示す。ロボットのファインチューニング実験では、こうした汎用モデルが少ないデータで新しいタスクに適応できるかを検証しており、未知のブロック形状では、ファインチューニングしたモデルがわずか10エピソードでエキスパートの成功率を取り戻す。
課題
制御方策は通常、ドメインごとに人手で設計した帰納バイアスを用いて構築され、マルチタスクのエージェントであっても、通常はタスクごとに別々のパラメータを持つ。ロボットのデータは乏しく、カバーする身体形態も少ないため、ハードウェアを変えるたびに新たなデータ収集と再学習が必要になる。
提案手法
すべてのデータは平坦なトークン列にシリアライズされる。SentencePieceのテキストトークン、ResNetブロックで埋め込んだ16×16の画像パッチ、そしてmu-law符号化して1024個のビンに離散化した連続値である。12億パラメータのデコーダのみのトランスフォーマー(24層、埋め込み次元2048)を、テキストと行動のトークンだけに損失をかけた教師あり次トークン予測でオフライン学習する。タスクはタスク識別子ではなく、そのタスクのデモンストレーションをプロンプトとしてモデルに与えることで選択される。
主な知見
- 7,900万、3.64億、11.8億パラメータの各規模で、処理したトークン数が同じ場合、分布内の性能はモデルサイズとともに向上する。
- 除外したcartpole.swingupとassembly-v2での少数ショットのファインチューニングでは、全データでの事前学習が最も良い結果を出した。画像とテキストのデータのみでの事前学習は、これらの画像を用いないタスクでは効果がないか、負の転移を生じた。
- 転移は普遍的ではない。除外したAtariのboxingでは、ランダム初期化したモデルが事前学習したすべての変種を上回った。著者らはこれを、Atariの画像が他のデータと視覚的に大きく異なるためだとしている。
- モデルサイズは実機ロボットのリアルタイム制御が可能な規模に抑えられた。20 Hzの制御ループに収めるため、ロボットの行動はコンテキスト長1で1回の推論ステップによりサンプリングされた。
- 成功したデモンストレーションを条件とすることでタスク識別子が不要になり、著者らの主張では、タスク同士が観測と行動の仕様を共有する場合に「自己妄想」を引き起こす交絡要因を遮断できる。
主な結果
- 1組の重みで、604タスクのうち450超のタスクでエキスパートのスコアの50%を上回る。
- 実機のSawyer RGB Stacking、Skill Generalization(除外した形状の3つ組5組、各200エピソード):平均成功率50.2%、単一タスクのベースラインBC-IMPは49%。
- 実機ロボットのSkill Mastery:平均成功率75.6%、BC-IMPは74.6%。
- 新しい実機ロボットタスク「青を緑の上に積む」、500回のデモンストレーション(2時間45分)でファインチューニング:成功率60%、ゼロから学習した行動クローニングのベースラインは0.5%(1/200)。
- Skill Generalizationでのロボットのファインチューニング(実機とシミュレーション):10エピソードでエキスパートに並び、100または1000エピソードでエキスパートを上回る。
- Atari:23ゲームで人間の平均スコア以上、11ゲームで人間のスコアの2倍超。Meta-World:45タスク中44タスクで50%超。BabyAI BossLevel:75%。
制限事項
- コンテキストは1024トークンに制限されている。画像の観測は1つで100トークン以上を使うことがあるため、エージェントが見られるのは数タイムステップだけかもしれない。また、新しい環境でのプロンプトによるインコンテキスト学習は、プロンプトなしの評価と比べて有意な向上をもたらさなかった。
- 制御のためのウェブ規模のデータセットは存在しない。Gatoは専門の強化学習エージェントが生成したデータで模倣学習により学習されており、著者らは適切なデータの取得を未解決の研究課題としている。
- 実機ロボットでは、NVIDIA GeForce RTX 3090上の11.8億パラメータのモデルが、コンテキスト長1でも20 Hzの制御周期を約0.01 s超過した。
- Atariのデータを生成した単一タスクの強化学習エージェントは依然としてGatoを上回り、Gatoのチャットの応答はしばしば表面的であったり、事実と異なったりする。
- モデルカードには、商用や本番環境での利用は想定していないこと、また視覚と言語のデータに由来するバイアスは、性的に露骨なコンテンツのフィルタリング以外には緩和されていないことが記されている。
分野への影響
TMLR(2022年11月)に掲載され、FeaturedおよびOutstanding認定を受け、ICLR 2024 Journal Trackにも選ばれた。Semantic Scholarでの被引用数は1,203件(2026年11月14日時点)。論文にはモデルカード(付録A)が含まれ、コードやモデルの重みへのリンクは示されていない。
概要
大規模言語モデリングの進展に触発され、私たちは同様のアプローチを用いて、テキスト出力の領域を超える単一の汎用エージェントを構築する。Gatoと呼ぶこのエージェントは、マルチモーダル、マルチタスク、マルチエンボディメントの汎用方策として機能する。同じネットワーク、同じ重みで、Atariのプレイ、画像のキャプション生成、チャット、実機のロボットアームによるブロック積みなどをこなし、テキスト、関節トルク、ボタン操作、その他のトークンのどれを出力するかを文脈に基づいて決定する。本報告では、モデルとデータを説明し、Gatoの現時点での能力を記録する。
リンク
- arXiv 2205.06175: https://arxiv.org/abs/2205.06175
- PDF: https://arxiv.org/pdf/2205.06175v3