MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
作者: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026
许可协议
根据 arXiv 的许可协议，以下内容仅依据摘要撰写。
为何重要
人们普遍认为仿真到现实迁移需要一些真实世界数据或针对特定任务的微调。作者报告了仅凭仿真即可零样本迁移到未见过的物体和环境：MolmoBot 在四种设置下的真实桌面抓取放置任务中达到 79.2% 的成功率，而 π0.5 为 39.2%。
提出的方法
MolmoBot-Engine 是一个开源流水线，可在 MolmoSpaces 中跨机器人、任务和仿真环境以程序化方式生成数据；作者发布了 MolmoBot-Data（170 万条专家轨迹），并训练了三类策略，分别在用于桌面任务的 Franka FR3 和 Rainbow Robotics RB-Y1 移动机械臂上进行评估。
摘要
机器人学习中一种主流观点认为，仅靠仿真是不够的；人们普遍相信，有效的仿真到现实迁移至少需要采集一些真实世界数据，或进行针对任务的微调，才能弥合仿真环境与物理环境之间的差距。我们对这一假设提出挑战。借助规模足够大、多样性足够高的仿真合成训练数据，我们表明，零样本迁移到真实世界不仅可行，而且对静态操作和移动操作都有效。我们推出 MolmoBot-Engine，这是一个完全开源的流水线，可在 MolmoSpaces 中跨机器人、任务和多样的仿真环境进行程序化数据生成。借助它，我们发布了 MolmoBot-Data，一个包含 1.7 百万条专家轨迹的数据集，涵盖铰接物体操作和抓放任务。我们训练了三类策略：MolmoBot，一个基于 Molmo2 的多帧视觉语言模型，带有流匹配动作头；MolmoBot-Pi0，复现了 π0 架构，以便直接比较；以及 MolmoBot-SPOC，一个适合边缘部署、便于进行强化学习微调的轻量策略。我们在两个机器人平台上评估：用于桌面操作任务的 Franka FR3，以及用于开门、操作抽屉、与柜子交互和移动抓放的 Rainbow Robotics RB-Y1 移动操作机器人。无需任何真实世界微调，我们的策略即可零样本迁移到未见过的物体和环境。在桌面抓放任务上，MolmoBot 在 4 个场景的真实世界评估中取得 79.2% 的成功率，超过 π0.5 的 39.2%。我们的结果表明，程序化环境生成结合多样的铰接资产，能够产生稳健的操作策略，并广泛泛化到真实世界。
链接
- arXiv 2603.16861: https://arxiv.org/abs/2603.16861
- PDF: https://arxiv.org/pdf/2603.16861
- 代码: https://github.com/allenai/MolmoBot
- 项目主页: https://allenai.github.io/MolmoBot/
- 数据集: https://huggingface.co/datasets/allenai/molmobot-data