MolmoBot
Ai2 的机器人操作策略,只在仿真中训练,可零样本运行于 DROID Franka
许可证
- code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
- MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
- MolmoBot-Data: ODC Attribution 1.0
分开授权。代码:Apache-2.0,依据 LICENSE,MolmoBot、MolmoBot-Pi0 和 MolmoBot-SPOC 三个包中的文本相同。MolmoBot 检查点,包括 MolmoBot-DROID 和 RB-Y1 策略:Apache-2.0,依据其 Hugging Face 卡片;它们由 Molmo2-4B 微调而来,后者同样是 Apache-2.0,其卡片注明它使用了仅限学术和非商业研究的第三方数据集训练。MolmoBot-Pi0-DROID:Gemma 许可证,因为它基于 PaliGemma。MolmoBot-SPOC 检查点:许可证只写了 other,其卡片所指的许可证文件并不存在。MolmoBot-Data:ODC-BY 1.0;部分场景使用了采用非商业许可证的 Objaverse 物体,另附一份可商用回合清单。Ai2 要求按照其 Responsible Use Guidelines 使用这些模型和数据。于 2026-11-08 对照 LICENSE 和 Hugging Face 卡片核实。
概述
MolmoBot 是艾伦人工智能研究所(Ai2)推出的一组机器人操作策略,只用仿真数据训练,在真实机器人上运行时不需要任何真实数据,也不做微调。其主要检查点 MolmoBot-DROID 根据一台腕部相机、一台外部相机和一条文字指令(例如 put the red mug in the black bowl)控制 DROID 配置的 Franka 机械臂。训练数据 MolmoBot-Data 包含 1.7 百万条专家轨迹,在 MuJoCo 中于超过 94,000 个程序化生成的房屋里生成,并对物体、光照和相机位置做了大幅随机化。Ai2 发布了三类策略、面向 Franka 和 Rainbow Robotics RB-Y1 移动操作机器人的九个检查点、训练与评估代码、数据集以及数据生成引擎。论文在 CoRL 2026 上发表。
MolmoBot 是 Ai2 与华盛顿大学、UCLA、达姆施塔特工业大学和普林斯顿大学合作推出的一组操作策略,用来检验一个论断:只在仿真中训练的策略,不用任何真实数据、不做微调,也能在真实机器人上工作,这是一种严格意义上的仿真到现实迁移。其主要检查点 MolmoBot-DROID 控制一台按 DROID 方式搭建的 Franka 机械臂,配有 Robotiq 2F-85 夹爪、ZED Mini 腕部相机,以及一台可以放在桌边任意位置的 ZED 2 相机。给定一条文字指令,例如 "put the red mug in the black bowl",它输出机械臂和夹爪的绝对关节位置。
数据来自 MolmoBot-Engine,这是一个程序化生成器,现已并入 MolmoSpaces 代码库。它把来自 iTHOR 和 Objaverse 的物体放进预先构建的 MolmoSpaces 房屋,在 MuJoCo 中渲染,并让脚本化的专家选取抓取位姿、规划动作的每个阶段(运动规划),抓取滑脱时从头再来。光照、纹理、摩擦、质量、机器人的初始姿态和每台相机的位置都会随机化(域随机化)。最终得到的 MolmoBot-Data 包含 1.7 百万条轨迹、5,704 小时的机器人经验,覆盖超过 94,000 个环境、11,000 个物体和 9,000 个容器,共 8 类任务,涉及两款机器人:用于桌面抓取放置的 Franka FR3,以及用于拾取和打开抽屉、柜子与门的移动操作机器人 Rainbow Robotics RB-Y1。生成这些数据约用了 6,500 GPU 小时。
在这些数据上用模仿学习训练了三类策略。MolmoBot 本身基于 Molmo2-4B 视觉语言模型,加上一个扩散 Transformer 动作头,它读取语言模型的每一层,用流匹配预测 16 步的关节位置片段;每台相机最多可输入 3 帧近期画面。MolmoBot-Pi0 通过 openpi 代码复刻了 π0 的架构,并从 PaliGemma 起步训练,便于与 Physical Intelligence 自家的模型直接比较。MolmoBot-SPOC 是一个小型 Transformer 策略,面向边缘设备,也为日后在仿真中做强化学习而设计。Hugging Face 上共有九个检查点,分别面向 DROID Franka,以及 RB-Y1 上的开门和多任务操作。
在 DROID 机器人上,策略作为服务器运行在一台 GPU PC 上,机器人和夹爪则在 Polymetis 下运行;安装指南涵盖相机、配置和客户端脚本。一个演示笔记本可以搭建仿真场景、加载检查点并运行一个回合,不需要任何硬件;用公开数据复现 MolmoBot-DROID 的训练命令写在代码库中。
在论文中,每个策略都在真实 DROID 机器人上运行了 120 次:4 个房间,每个房间 10 个抓取放置任务,每个任务试 3 次,用了 2 家机构的 3 台机器人。MolmoBot 的成功率为 79.2%,用真实示范训练的 π0.5-DROID 为 39.2%,而采用 π0 架构、只用仿真数据的 MolmoBot-Pi0 达到 46.7%。移动操作还不成熟:面对三扇需要拉开的真实房门,RB-Y1 在 9 次尝试中开门成功 2 次。这些都是作者自己的结果;项目页面附有真实 DROID 试验的录像。
为何重要
像 openpi 中的 π0.5 这样的开源 VLA 策略,依赖超过 10,000 小时的真实机器人示范来学习,这些数据不公开,外人也无法重新生成。MolmoBot 用仿真数据取而代之,任何人都可以下载这些数据,或用公开的引擎重新生成;在作者的测试中,它在同一套 DROID 硬件上胜过 π0.5,而且从未见过一条真实示范。对拥有 DROID 式 Franka 的实验室来说,这意味着一个无需采集数据就能试用的策略,以及一套从场景生成到训练的完整流程,可用来加入新任务或新机器人。它与 Ai2 的动作推理 VLA MolmoAct2 形成互补:MolmoAct2 提供基础检查点,需要针对每台机器人用 DROID 等真实示范来微调,而 MolmoBot 只从仿真中学习,设计目标是直接使用。它的局限在于适用范围:任务只有刚体的抓取放置和开启,DROID Franka 或 RB-Y1 以外的机器人都需要自己的仿真数据和训练。
解决的问题
训练一个操作策略通常需要大量真实机器人示范,采集既慢又贵,而且大多不公开。MolmoBot 证明,只要随机化范围足够大,程序化生成的仿真数据就能训练出在真实机器人上零样本可用的策略,并公开了数据、生成器和训练代码,供他人复现或扩展这一结果。
要点
- 只用仿真数据训练的操作策略,无需真实数据微调即可在真实机器人上运行
- MolmoBot-DROID 运行在 DROID Franka 上,只需一台腕部相机和一台可任意摆放的外部相机
- 在 MolmoBot-Data 上训练:超过 94,000 个房屋中的 1.7 百万条仿真专家轨迹
- 三类策略:基于 Molmo2 的 VLA、π0 的复刻版,以及面向边缘设备的小型 Transformer
- 代码、大部分检查点和数据生成引擎都已开放;数据集采用 ODC-BY
- 在作者的测试中,真实抓取放置成功率为 79.2%,π0.5-DROID 为 39.2%
适用人群
- 拥有 DROID 式 Franka、希望不采集数据就获得抓取放置策略的实验室
- 研究仿真到现实迁移和合成训练数据的机器人学习研究者
- 为新机器人或新任务搭建仿真数据流水线的团队
- 从事移动操作的 Rainbow Robotics RB-Y1 用户
局限
- 发布的检查点只能在 DROID 式 Franka(Robotiq 2F-85 夹爪、ZED Mini 腕部相机和 ZED 2 外部相机、Polymetis)或 Rainbow Robotics RB-Y1 上运行;其他机器人需要新的仿真数据和训练
- 任务仅限于刚体拾取、抓取放置和开启铰接物体;作者指出插装、可变形物体和流体目前还做不到
- 移动操作仍处于早期:RB-Y1 在 9 次尝试中只有 2 次拉开了真实房门
- MolmoBot-Pi0-DROID 采用 Gemma 许可证,三个 MolmoBot-SPOC 检查点只写了 other 且没有许可证文件,因此并非所有检查点都是 Apache-2.0
- MolmoBot-Data 约 10 TB,包含采用非商业许可证的 Objaverse 物体;另附一份可商用回合清单
- 训练需要多 GPU 集群:README 称 MolmoBot-DROID 用了 8 到 64 块 H100 GPU,MolmoBot-Pi0-DROID 用了 32 块,MolmoBot-DROID 检查点约 20 GB
- 所有结果均来自作者本人,在他们自己的机器人和仿真基准上取得