MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
Autores: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026
Licencias
- Acceso abierto
- Artículo: arXiv.org perpetual, non-exclusive license 1.0
Según la licencia de arXiv, todo lo que sigue está escrito solo a partir del resumen.
Por qué importa
Se cree ampliamente que la transferencia de la simulación a la realidad requiere algunos datos del mundo real o un ajuste fino específico de la tarea. Los autores informan de una transferencia zero-shot únicamente desde la simulación a objetos y entornos no vistos, con MolmoBot alcanzando un 79,2 % de éxito en pick-and-place real sobre mesa en cuatro configuraciones, frente al 39,2 % de π0.5.
Solución propuesta
MolmoBot-Engine es un pipeline de código abierto que genera de forma procedimental datos de distintos robots, tareas y entornos simulados en MolmoSpaces; los autores publican MolmoBot-Data (1,7 millones de trayectorias expertas) y entrenan tres clases de políticas, evaluadas en un Franka FR3 para tareas sobre mesa y en un manipulador móvil Rainbow Robotics RB-Y1.
Resumen
Una visión predominante en el aprendizaje robótico es que la simulación por sí sola no basta; se cree ampliamente que una transferencia sim-to-real eficaz requiere al menos cierta recogida de datos del mundo real o un ajuste fino específico de la tarea para cerrar la brecha entre los entornos simulados y los físicos. Nosotros cuestionamos esa suposición. Con datos de entrenamiento sintéticos simulados a una escala y con una diversidad suficientes, mostramos que la transferencia zero-shot al mundo real no solo es posible, sino eficaz, tanto para la manipulación estática como para la móvil. Presentamos MolmoBot-Engine, un pipeline totalmente de código abierto para la generación procedural de datos a través de robots, tareas y entornos simulados diversos en MolmoSpaces. Con él publicamos MolmoBot-Data, un conjunto de datos de 1,7 millones de trayectorias de expertos para la manipulación de objetos articulados y tareas de pick-and-place. Entrenamos tres clases de políticas: MolmoBot, un modelo de visión y lenguaje multiframe basado en Molmo2 con un cabezal de acción de flow matching; MolmoBot-Pi0, que replica la arquitectura de π0 para permitir una comparación directa; y MolmoBot-SPOC, una política ligera apta para el despliegue en dispositivos edge y susceptible de ajuste fino con aprendizaje por refuerzo. Evaluamos en dos plataformas robóticas: el Franka FR3 para tareas de manipulación sobre mesa y el manipulador móvil Rainbow Robotics RB-Y1 para abrir puertas, manipular cajones, interactuar con armarios y hacer pick-and-place móvil. Sin ningún ajuste fino en el mundo real, nuestras políticas logran transferencia zero-shot a objetos y entornos no vistos. En pick-and-place sobre mesa, MolmoBot alcanza una tasa de éxito del 79,2 % en evaluaciones reales en 4 escenarios, superando a π0.5, con un 39,2 %. Nuestros resultados demuestran que la generación procedural de entornos combinada con activos articulados diversos puede producir políticas de manipulación robustas que generalizan ampliamente al mundo real.
Enlaces
- arXiv 2603.16861: https://arxiv.org/abs/2603.16861
- PDF: https://arxiv.org/pdf/2603.16861
- Código: https://github.com/allenai/MolmoBot
- Página del proyecto: https://allenai.github.io/MolmoBot/
- Conjunto de datos: https://huggingface.co/datasets/allenai/molmobot-data