VIMA: General Robot Manipulation with Multimodal Prompts
作者: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文,按其 CC BY 4.0 许可协议使用;其中的图已注明作者。
一句话总结
将操作任务表述为文本与图像交错的提示,新增 VIMA-Bench 基准,并提出一个基于物体 token 和交叉注意力的智能体,其泛化能力优于 Gato 式设计。
为何重要
一个提示接口涵盖目标到达、单次视频模仿、新概念落地和约束满足,因此可以在这些任务上训练并比较同一个策略。消融实验给出了具体的设计指导:可变长度的物体 token 和交叉注意力条件化优于原始像素分词器和仅解码器条件化,在小模型和新任务上尤为明显。
问题
机器人任务以不同形式指定,例如单次示范、语言指令和视觉目标,通常由架构、目标函数和数据流程各不相同的专门模型分别处理。此前没有基准提供一套多模态提示任务,并对泛化能力进行系统性测试。
提出的方法
任务被写成文本与图像交错的提示。VIMA 用预训练的 T5-Base 编码器编码提示,将图像转换为物体 token(Mask R-CNN 边界框加上经 ViT 编码的裁剪图),并用一个交替进行因果自注意力和对提示的交叉注意力的 Transformer,解码出用于抓取放置或推动的离散化末端执行器位姿。它在 VIMA-Bench 上通过行为克隆训练;VIMA-Bench 是 Ravens/PyBullet 的扩展,包含 17 个任务模板、65 万条成功的专家轨迹(每个任务 5 万条,见第 3 节;摘要将其取整为 60 万条以上)和一套四级泛化协议。
关键见解
- 物体 token 优于原始像素分词器(图像块、Image Perceiver、单图像 token);作者推测像素分词器把容量花在了从像素中解析物体上。
- 把物体下采样为固定数量的 token(Object Perceiver),即使输入相同的边界框,也明显不如直接传入可变长度的物体序列。
- 交叉注意力条件化在小模型规模和 L4 新任务上最为重要;在较大的模型中,仅解码器变体能达到相当的性能。
- 提示编码器的规模(T5 small 3000 万、base 1.11 亿、large 3.68 亿)没有带来显著差异,因此默认使用 T5-Base。
- 采用物体增强(随机注入假阳性检测)后,微调的 Mask R-CNN 与真值边界框相比,性能损失很小。
主要结果
- 2 亿参数的控制器:在 VIMA-Bench 上的平均成功率为 81.5%(L1)、81.5%(L2)、78.7%(L3)和 48.6%(L4),VIMA-Gato 分别为 58.0%、53.1%、46.0% 和 16.8%。
- L4(新任务)、2000 万参数控制器:VIMA 为 48.8%,VIMA-Gato 为 12.3%,这正是“最多 2.9 倍”相对提升的依据。
- 仅用 10% 的数据训练,VIMA 在 L4 上达到 46%,而用完整数据集训练的 VIMA-Gato 为 12.2%(即“2.7 倍”这一数字)。
- 只用 1% 的数据时,VIMA 在 L1 和 L2 上的表现与使用 10 倍数据训练的基线相当。
- 在难度递增的级别上,VIMA 从 L1 到 L2 和 L3 几乎没有退化,而基线下降多达 20%;VIMA 在 L4 上的下降幅度只有基线的一半。
局限
- 依赖单独的物体检测器并继承其错误,这些错误可能在遮挡或物体形态超出分布时出现。
- 仿真器的真实感和任务复杂度有限:VIMA-Bench 面向多任务能力、泛化和多模态理解,而非物理真实感。
- 动作原语有限:只有来自 Transporter 的高层抓取放置和推动/擦拭动作;关节力矩等更底层的控制需要修改。
- 所有实验都在仿真中进行;论文没有报告自己的真实机器人实验。
- 包括 VIMA 在内的所有方法在 L4 新任务上都明显退化,VIMA 的平均成功率也低于 50%。
对领域的影响
发表于 ICML 2023。Semantic Scholar 统计引用 655 次(2026 年 11 月 14 日)。作者开源了仿真环境(VIMA-Bench)、训练数据集、算法代码和预训练模型检查点。
摘要
基于提示的学习已成为自然语言处理中的成功范式:单个通用语言模型可以按照输入提示的指定执行任何任务。然而,机器人领域的任务指定形式多样,例如模仿单次示范、遵循语言指令、到达视觉目标。这些通常被视为不同的任务,由专门的模型分别处理。我们表明,大量机器人操作任务都可以用交错排列文本与视觉 token 的多模态提示来表达。据此,我们开发了一个新的仿真基准,包含数千个带多模态提示、程序化生成的桌面任务,60 万条以上用于模仿学习的专家轨迹,以及一套用于系统性泛化的四级评估协议。我们设计了基于 Transformer 的机器人智能体 VIMA,它处理这些提示并以自回归方式输出运动动作。VIMA 采用一套能实现出色模型可扩展性和数据效率的方案。在最难的零样本泛化设置中,使用相同训练数据时,它的任务成功率比其他设计最多高出 2.9 倍。训练数据减少到十分之一时,VIMA 的表现仍比最好的竞争变体高 2.7 倍。代码和视频演示见 https://vimalabs.github.io/
链接
- arXiv 2210.03094: https://arxiv.org/abs/2210.03094
- PDF: https://arxiv.org/pdf/2210.03094v2
- 代码: https://github.com/vimalabs/VIMA
- 项目主页: https://vimalabs.github.io/