A Generalist Agent
作者: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文,按其 CC BY 4.0 许可协议使用;其中的图已注明作者。
一句话总结
Gato 将文本、图像、本体感知和动作转换为同一个 token 序列,并在 604 项任务上训练单个 12 亿参数的 Transformer,其中包括用真实的 Sawyer 机械臂堆叠积木。
为何重要
论文表明,一个网络、一套权重就能玩 Atari、为图像生成描述、聊天,并用真实机械臂堆叠积木。其机器人微调实验检验了这样的通用模型能否用很少的数据适应新任务:在未见过的积木形状上,微调后的模型只用 10 个回合就恢复到专家的成功率。
问题
控制策略通常按领域分别构建,依赖人工设计的归纳偏置;即使是多任务智能体,通常也为每项任务保留独立的参数。机器人数据稀缺,且只覆盖少数几种具身形态,因此每次更换硬件都意味着要采集新数据并重新训练。
提出的方法
所有数据都被序列化为一条扁平的 token 序列:SentencePiece 文本 token、由 ResNet 模块嵌入的 16×16 图像块,以及经 mu-law 编码并离散化为 1024 个区间的连续值。一个 12 亿参数的仅解码器 Transformer(24 层,嵌入维度 2048)通过有监督的下一个 token 预测进行离线训练,损失只计算文本和动作 token。任务的选择不靠任务标识符,而是用该任务的一段示范作为提示输入模型。
关键见解
- 在 7900 万、3.64 亿和 11.8 亿参数三个规模上,处理相同 token 数量时,分布内性能随模型规模增大而提升。
- 在留出的 cartpole.swingup 和 assembly-v2 上进行少样本微调时,用全部数据预训练效果最好;只用图像和文本数据预训练,在这些非图像任务上没有带来收益,甚至出现负迁移。
- 迁移并非普遍成立:在留出的 Atari boxing 上,随机初始化的模型胜过所有预训练变体,作者将此归因于 Atari 图像在视觉上与其他数据差异明显。
- 模型规模被限制在能够实时控制真实机器人的范围内;为满足 20 Hz 的控制循环,机器人动作在一次推理步中以上下文长度 1 采样得到。
- 以一段成功示范作为条件取代了任务标识符;作者认为,当任务共享观测与动作规格时,这种做法能屏蔽导致“自我妄想”的混杂因素。
主要结果
- 同一套权重在 604 项任务中的 450 多项上得分超过专家分数的 50%。
- 真实 Sawyer RGB Stacking 的 Skill Generalization(5 组留出的形状三元组,每组 200 个回合):平均成功率 50.2%,单任务基线 BC-IMP 为 49%。
- 真实机器人 Skill Mastery:平均成功率 75.6%,BC-IMP 为 74.6%。
- 新的真实机器人任务“把蓝色堆到绿色上”,用 500 个示范(2 小时 45 分钟)微调:成功率 60%,而从零训练的行为克隆基线为 0.5%(1/200)。
- 在 Skill Generalization 上进行机器人微调(真实与仿真):用 10 个回合即达到专家水平,用 100 或 1000 个回合时超过专家。
- Atari:在 23 款游戏上达到或超过人类平均分,在 11 款上超过人类分数的两倍;Meta-World:45 项任务中 44 项超过 50%;BabyAI BossLevel:75%。
局限
- 上下文限制为 1024 个 token;每个图像观测可能占用上百个 token,因此智能体可能只能看到少数几个时间步,而在新环境上基于提示的上下文学习,与无提示评估相比没有显著提升。
- 目前不存在网络规模的控制数据集;Gato 通过模仿学习,使用专用强化学习智能体生成的数据训练,作者称获取合适的数据是一个尚未解决的研究问题。
- 在真实机器人上,即使上下文长度为 1,运行在 NVIDIA GeForce RTX 3090 上的 11.8 亿参数模型仍比 20 Hz 控制频率超时约 0.01 s。
- 生成 Atari 数据的单任务强化学习智能体仍然优于 Gato,而且它的聊天回复常常流于表面或与事实不符。
- 模型卡说明该模型不用于商业或生产用途,并且除过滤色情内容外,没有对来自视觉和语言数据的偏见进行缓解。
对领域的影响
发表于 TMLR(2022 年 11 月),获 Featured 与 Outstanding 认证,并列入 ICLR 2024 Journal Track。Semantic Scholar 统计引用 1,203 次(2026 年 11 月 14 日)。论文附有模型卡(附录 A),未提供代码或模型权重链接。
摘要
受大规模语言建模进展的启发,我们采用类似的方法,构建一个超越文本输出范畴的单一通用智能体。我们称这个智能体为 Gato,它是一个多模态、多任务、跨具身的通用策略。同一个网络、同一套权重,可以玩 Atari、为图像生成描述、聊天、用真实机械臂堆叠积木等等,并根据上下文决定输出文本、关节力矩、按键操作还是其他 token。在本报告中,我们介绍该模型与数据,并记录 Gato 目前的能力。
链接
- arXiv 2205.06175: https://arxiv.org/abs/2205.06175
- PDF: https://arxiv.org/pdf/2205.06175v3