GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

作者: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个 GPT 风格的模型，先在 38M 个网络片段上预训练以预测视频，再经微调输出未来帧和动作轨迹；在 105 项真实桌面任务上成功率为 97.7%。

为何重要

该报告表明，网络视频可以承载操作策略原本需要从机器人数据中获取的大部分知识：GR-2 在每项任务仅约 50 条示范的情况下，在 105 项任务上达到 73.9% 的成功率，并在未见过的背景和厨房中使 GR-1 的成功率大约翻倍。其在 122 种物体（包括透明、可变形和反光物品）上进行的料箱拣选测试，针对的是一项作者指出对基于模型的方法而言可能很困难的工业任务。

问题

收集大规模机器人数据很慢，真实机器人系统也难以扩展，这限制了操作策略所能达到的通用程度。通用智能体必须学会许多技能，同时还要应对新的背景、环境、物体和指令。作者此前的 GR-1 表明，视频生成预训练有助于策略学习，但它只用了 80 万个视频，对未见过的场景泛化能力较弱。

提出的方法

GR-2 是一个以语言为条件的 GPT 风格 transformer：冻结的文本编码器对指令进行分词，冻结的 VQGAN 将每一帧转换为离散 token，机器人状态（末端执行器位姿和夹爪状态）则经过线性层。它首先在来自人类活动数据集和公开机器人数据集的 3,800 万个文本-视频片段（摘要称超过 500 亿个 token，Section 2.1 称约 500 亿个）上预训练以预测未来帧，然后在多视角机器人数据上微调，以同时预测未来图像和由条件 VAE 生成的动作轨迹。在真实机械臂上，全身控制算法对笛卡尔轨迹进行平滑，并将其转换为在碰撞约束下以 200 Hz 执行的关节指令。

关键见解

• 将预训练规模从 GR-1 的 80 万个视频扩大到 3,800 万个片段，再配合一种专为把预训练知识带入微调而构建的架构，使 GR-1 在 Unseen Backgrounds 和 Unseen Environments 设置下的成功率大约翻倍。
• 研究发现，生成动作轨迹而非单步动作，对轨迹平滑性和实时性能都至关重要。
• 预测的视频与真实执行过程高度一致，因此动作输出实际上是在“重放”预测的视频；作者建议把改进视频生成作为获得更好动作的途径。
• 合成增强（基于扩散的物体插入、基于 SAM 的背景替换、视频再生成）使 Unseen Environments 的成功率从 71.7% 提高到 87.0%。
• 随着可训练参数从 30M 增加到 719M，视频预测的验证损失和真实机器人成功率都有所改善。

主要结果

• 多任务学习：在 Simple 设置下，经约 40,000 条遥操作轨迹微调后，在涵盖 8 种技能的 105 项桌面任务上平均成功率为 97.7%。
• 泛化：Unseen Backgrounds 为 71.4%，Unseen Environments 为 71.7%，约为 GR-1 的两倍；使用数据增强后，Unseen Environments 为 87.0%，三种泛化设置平均为 74.7%；Unseen Manipulation 为 55.8%。
• 每项任务约 50 条轨迹（约为数据量的 1/8）的少数据训练：Simple 设置下为 73.9%，在全部三种泛化设置中都优于 GR-1。
• 端到端料箱拣选在 55 种物体的约 94,000 条轨迹上训练，在 122 种物体（67 种未见过）上测试：平均成功率为 79.0%，GR-1 为 33.3%。
• CALVIN ABCD→D：连续完成 1 项任务的成功率为 98.6%，连续完成 5 项任务为 85.9%（GR-1：94.9% 和 73.1%），平均长度从 4.21 提高到 4.64。
• 默认模型有 230M 参数，其中 95M 可训练；扩展实验使用 30M、95M、312M 和 719M 可训练参数。

局限

• 作者认为未见过的操作是最薄弱的环节（55.8%）；典型失败是无法拾取形状新颖的未见物体，以及在被要求拾取未见物体时拾取了错误的物体。
• 他们给出的未来工作是提高动作预测的泛化能力和鲁棒性，尤其是针对新物体和新技能。
• 所有真实机器人结果都来自单一平台，即配备 Robotiq 2F-85 夹爪的 Kinova Gen3 机械臂；未测试向其他本体的迁移。
• 报告没有给出训练算力、推理硬件或策略延迟的数据，且大多数按设置划分的数字只出现在图中。
• 正文没有说明会发布代码、模型权重或机器人数据集。

对领域的影响

这份 ByteDance Research 技术报告被引用 377 次。它链接了一个项目页面（gr2-manipulation.github.io）；正文没有说明会发布代码、模型权重或数据。

摘要

我们提出 GR-2，一个最先进的通用机器人智能体，用于多样化且可泛化的机器人操作。GR-2 首先在海量互联网视频上进行预训练，以捕捉世界的动态。这一大规模预训练涉及 3,800 万个视频片段和超过 500 亿个 token，使 GR-2 在随后的策略学习中具备跨越广泛机器人任务和环境进行泛化的能力。此后，GR-2 使用机器人轨迹针对视频生成和动作预测两方面进行微调。它展现出令人印象深刻的多任务学习能力，在 100 多项任务上取得了 97.7% 的平均成功率。此外，GR-2 对新的、从未见过的场景表现出卓越的泛化能力，包括新的背景、环境、物体和任务。值得注意的是，GR-2 能随模型规模有效扩展，突显了其持续增长和应用的潜力。项目页面：https://gr2-manipulation.github.io。

链接

• arXiv 2410.06158: https://arxiv.org/abs/2410.06158
• DOI https://doi.org/10.48550/arxiv.2410.06158: https://doi.org/https://doi.org/10.48550/arxiv.2410.06158
• PDF: https://arxiv.org/pdf/2410.06158v1
• 项目主页: https://gr2-manipulation.github.io/