MolmoAct2: Action Reasoning Models for Real-World Deployment

作者: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

为何重要

大多数能力强的机器人策略都是封闭的；开放的那些通常只公开权重，不公开背后的数据和训练方案，或者默认使用昂贵的机器人。MolmoAct2 把三者都公开了：模型权重、训练代码和完整的训练数据组合，其中包括约 720 小时在 YAM 机械臂上新采集的双臂遥操作数据，作者估计整套平台不到 6,000 美元。这篇论文是了解这次发布如何构建、效果如何的参考，并被 CoRL 2026 选为 spotlight。对本目录的读者来说，实际意义在于：它的两个微调检查点无需额外训练，就能在许多实验室和爱好者已经拥有的硬件上运行，即 DROID 式的 Franka 机械臂，以及 SO-100 或 SO-101 机械臂。论文还展示了其他模型开发者可以借用的思路：一个以开放方式训练的 FAST 式动作分词器；一条把 1,222 个社区上传的 LeRobot 数据集变成可用训练数据的筛选流程；以及一个在每一层都以骨干网络的键和值为条件的动作专家，在作者的消融实验中它优于以隐藏状态为条件的做法。模型本身连同检查点和部署指南在我们的目录中另有页面；本页介绍论文的方法和结果。

问题

视觉-语言-动作模型有望用一个控制器驱动多种机器人，但论文指出了真实部署面临的四个障碍。最强的模型是封闭的，少数开放权重的模型也不公开数据和训练方案，因此没有人能复现或扩展它们。能开箱即用的开放模型绑定在昂贵或专用的机器人上。先推理再行动的策略，例如预测深度、目标图像或轨迹，每一步要花费数百个 token，对闭环控制来说太慢。即使经过微调，在真实任务上的成功率也达不到可靠使用的要求。公开的机器人数据本身也解决不了问题：Open X-Embodiment 质量参差不齐，DROID 中很大一部分是空闲或重复片段，社区上传的 SO-100 数据带有 lerobot_test 之类的占位标签，而且没有任何开放数据集在作者想部署的平台上提供高质量的双臂数据。

提出的方法

作者首先在约 3.3M 个具身推理样本（指点、空间与视频问答、多视角对应）的语料上微调自己的视觉语言模型 Molmo2，得到 Molmo2-ER。他们采集了一个包含 34,500 条演示、覆盖 28 项以上任务的双臂 YAM 数据集，并按结构、许可证和质量筛选社区上传的 SO-100/101 数据和 DROID，同时用一个开放的视觉语言模型重新标注指令。随后训练分三个阶段进行。预训练让骨干网络学会输出来自 MolmoAct2-FAST Tokenizer 的离散动作 token；这是 FAST 的开放重新实现，词表为 2,048 个 token，在来自五种本体的一百万条动作序列上训练。后训练加入一个 DiT 风格的动作专家，层数与骨干网络相同，均为 36 层；专家的每一层对骨干网络对应层的键和值做交叉注意力，并用流匹配训练，而骨干网络保留其 token 损失。微调再把模型适配到某一种机器人，产出面向双臂 YAM、DROID Franka、SO-100/101 和 LIBERO 的检查点。MolmoAct2-Think 在行动前加入一个 10 乘 10 的深度 token 网格，只重新预测自上一步以来图像块发生变化的格子。缓存和 CUDA Graphs 加快了推理。

关键见解

• 为具身推理训练的骨干网络能直接帮助学习动作：在相同的离散动作设置下，把 Molmo2 换成 Molmo2-ER，LIBERO-Long 上的成功率从 77.6% 提高到 83.6%
• 当动作专家的每一层都读取骨干网络对应层的键和值时效果更好：在 LIBERO 上为 95.9%，以隐藏状态为条件时为 94.0%
• 推理不必每一步都完整重算：MolmoAct2-Think 只对发生变化的图像格子重新预测深度 token，以一小部分延迟保留几何上的落地能力
• 对社区数据来说，整理和规模同样重要：结构检查、许可证检查和质量门槛把 1,222 个社区上传的 SO-100/101 数据集变成训练数据，而用开放的视觉语言模型重新标注，使不重复指令的数量翻了一倍
• 连续路径才是快的那条：把同一个动作块解码成离散 token 的速度为 14.17 Hz，流匹配专家则为 55.79 Hz，因此部署时默认使用专家

主要结果

• 在真实的 DROID Franka 上无需额外训练，摄像头随机摆放，物体和场景都未见过，MolmoAct2-DROID 在五项抓取放置任务（每项 15 次试验）上的平均成功率为 87.1%，MolmoBot 为 48.4%，π0.5-DROID 为 45.2%
• 在真实的 SO-100 机械臂上无需额外训练，MolmoAct2-SO100/101 在五项任务上（含部分得分）取得 56.7%，作者在相同数据上微调的 π0 为 45.3%，SmolVLA 为 2.3%
• 在仿真中不做微调，MolmoAct2-DROID 在 MolmoSpaces 上平均 37.7%，π0.5-DROID 为 34.5%；在 MolmoBot 上为 20.6%，对比为 10.0%
• 微调后在 LIBERO 上达到 97.2%（MolmoAct2-Think 为 98.1%），π0.5 为 96.9%，早先的 MolmoAct 为 86.6%；在双臂基准 RoboEval 上为 44.3%，π0.5 为 40.5%
• 在 8 项真实双臂 YAM 任务上微调、每项 50 次试验，平均 50.1%，8 项中赢下 7 项，比第二名 OpenVLA-OFT 高 15 个百分点
• Molmo2-ER 在 13 个具身推理基准上平均 63.8%，领先 Gemini Robotics-ER 1.5 Thinking（61.3%）和 GPT-5（57.9%），比其起点 Molmo2 高 17 个百分点
• 在一块 H100 上，缓存和 CUDA Graphs 把 MolmoAct2 的控制频率从 23.02 Hz 提高到 55.79 Hz，把 MolmoAct2-Think 从 8.04 Hz 提高到 12.71 Hz

局限

• 代码的许可证很清楚，权重则没那么清楚：仓库的 LICENSE 文件是 Apache-2.0，README 称模型采用 Apache 2.0 许可，并按 Ai2 的 Responsible Use Guidelines 用于研究和教育，但 MolmoAct2 各检查点的 Hugging Face 模型卡没有注明许可证（只有 Molmo2-ER 的模型卡注明）。机器人数据集的卡片注明 Apache-2.0，而部分转存的 Molmo2-ER 训练数据集保留其来源的条款，其中 VST-P 采用非商业的 CC BY-NC 4.0
• 策略以开环方式执行固定的动作块：没有任何机制保证动作块之间运动平滑，它无法在一个动作块内对接触或干扰做出反应，作者也指出 55.79 Hz 是按动作块摊销的吞吐量，而不是闭环响应能力
• 无需额外训练的使用仅限于它所训练的三个平台（双臂 YAM、SO-100/101 和 DROID Franka）；其他机器人、灵巧手、移动操作机器人或人形机器人需要用自己的演示数据微调，README 也说明开箱即用的效果只在 SO-100 和 Franka DROID 上、针对训练分布内的简单任务验证过
• 结果均由作者自己报告：真实环境的零样本测试每项任务 15 次试验，SO-100 的分数含部分得分，两个仿真基准（MolmoSpaces 和 MolmoBot）以及 MolmoBot 基线都来自 Ai2，SO-100 的 π0 基线由作者自己微调，而且鲁棒性表格把这一行标为 MolmoAct2-Think，正文却把结果归于 MolmoAct2
• 训练远超单块实验室 GPU 的能力：仅预训练就用了约 5,760 个 H100 GPU 小时，后训练约 2,304 个，每个检查点约 22 GB，README 还提到以 bfloat16 推理需要给模型代码打补丁

对领域的影响

MolmoAct2 是少数权重、代码和完整训练数据全部公开的视觉-语言-动作模型之一，因此其他团队可以重新训练、审查或扩展每一个阶段，而不只是微调一个已发布的检查点。它把开放基线带到了价格可承受的硬件上：作者报告了在 SO-100 机械臂和 DROID Franka 上、在未见过场景中无需额外训练的结果，以及在实验室之外的双臂 YAM 平台上微调后的结果。有两项设计结论可能会超出这个模型本身：让动作专家以骨干网络逐层的键和值为条件，以及让推理 token 变为自适应，使其开销取决于场景变化的多少。发布的双臂 YAM 数据（作者称其为迄今最大的开放双臂数据集）以及筛选后的 SO-100/101 和 DROID 子集，本身就是有价值的资源。许多比较使用的是作者自己的基准和基线，因此差距能保持多少，要看独立复现的结果。

摘要

视觉-语言-动作（VLA）模型旨在为机器人提供一个统一的通用控制器，但如今的系统还不足以用于真实世界的部署。前沿模型是封闭的；开放权重的替代方案依赖昂贵的硬件；带推理的策略为其落地付出过高的延迟；而微调后的成功率仍低于可靠使用所需的门槛。我们提出 MolmoAct2，一个为实际部署而构建的完全开放的动作推理模型，它在五个方面改进了前代模型 MolmoAct。（1）MolmoAct2 建立在我们新的 Molmo2-ER 之上，这是一个专门用于空间与具身推理的视觉语言模型（VLM）骨干网络，采用“先专精、再复习”的方案，在约 3.3M 个样本的语料上训练。（2）我们发布三个覆盖低到中等成本平台的新机器人数据集：MolmoAct2-BimanualYAM Dataset，包含 720 小时遥操作采集的双臂轨迹，是迄今最大的开放双臂数据集；MolmoAct2-DROID Dataset，DROID 中经质量筛选的 Franka 子集；以及 MolmoAct2-SO100/101 Dataset，经质量筛选的 SO-100/101 子集。（3）我们训练并发布 MolmoAct2-FAST Tokenizer，一个权重和数据均开放的动作分词器，在来自五种本体的数百万条轨迹上训练。（4）我们设计了一种新的 VLA 架构，通过逐层键值（KV）条件化，把离散 token 的视觉语言模型嫁接到基于流匹配的连续动作专家上。（5）我们提出 MolmoAct2-Think，一种自适应深度推理变体，只对相邻时间步之间发生变化的场景区域重新预测深度 token，以远低于以往的延迟保留几何上的落地能力。在迄今对开放 VLA 最全面的实证研究中，覆盖 7 个仿真与真实世界基准，MolmoAct2 优于包括 π0.5 在内的强基线，而 Molmo2-ER 在 13 个具身推理基准上超过 GPT-5 和 Gemini Robotics ER-1.5。我们公开模型权重、训练代码和完整的训练数据。

链接

• arXiv 2605.02881: https://arxiv.org/abs/2605.02881
• PDF: https://arxiv.org/pdf/2605.02881
• 代码: https://github.com/allenai/molmoact2
• 项目主页: https://allenai.org/blog/molmoact2