MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation

Auteurs: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026

Licences

• Accès libre
• Article: arXiv.org perpetual, non-exclusive license 1.0

Selon la licence d'arXiv, tout ce qui suit est rédigé à partir du seul résumé.

Pourquoi c'est important

Il est largement admis que le transfert de la simulation au réel nécessite certaines données du monde réel ou un affinage propre à la tâche. Les auteurs rapportent un transfert zero-shot à partir de la seule simulation vers des objets et des environnements inédits, MolmoBot atteignant 79,2 % de réussite en pick-and-place réel sur table dans quatre configurations, contre 39,2 % pour π0.5.

Solution proposée

MolmoBot-Engine est un pipeline open source qui génère de manière procédurale des données couvrant robots, tâches et environnements simulés dans MolmoSpaces ; les auteurs publient MolmoBot-Data (1,7 million de trajectoires expertes) et entraînent trois classes de politiques, évaluées sur un Franka FR3 pour des tâches sur table et sur un manipulateur mobile Rainbow Robotics RB-Y1.

Résumé

Une opinion dominante en apprentissage robotique veut que la simulation seule ne suffise pas ; on estime largement qu'un transfert sim-to-real efficace exige au moins une certaine collecte de données réelles ou un fine-tuning propre à la tâche pour combler l'écart entre environnements simulés et physiques. Nous remettons en cause cette hypothèse. Avec des données d'entraînement synthétiques simulées suffisamment massives et variées, nous montrons que le transfert zero-shot vers le monde réel est non seulement possible, mais efficace, pour la manipulation statique comme pour la manipulation mobile. Nous présentons MolmoBot-Engine, un pipeline entièrement open source de génération procédurale de données couvrant des robots, des tâches et des environnements simulés variés dans MolmoSpaces. Avec lui, nous publions MolmoBot-Data, un jeu de données de 1,7 million de trajectoires d'experts pour la manipulation d'objets articulés et des tâches de pick-and-place. Nous entraînons trois classes de politiques : MolmoBot, un modèle vision-langage multi-images fondé sur Molmo2 avec une tête d'action à flow matching ; MolmoBot-Pi0, qui reproduit l'architecture de π0 pour permettre une comparaison directe ; et MolmoBot-SPOC, une politique légère adaptée au déploiement en périphérie et se prêtant à un fine-tuning par apprentissage par renforcement. Nous évaluons sur deux plateformes robotiques : le Franka FR3 pour des tâches de manipulation sur table et le manipulateur mobile Rainbow Robotics RB-Y1 pour l'ouverture de portes, la manipulation de tiroirs, l'interaction avec des placards et le pick-and-place mobile. Sans aucun fine-tuning dans le monde réel, nos politiques réalisent un transfert zero-shot vers des objets et des environnements inédits. En pick-and-place sur table, MolmoBot atteint un taux de réussite de 79,2 % lors d'évaluations réelles dans 4 contextes, devant π0.5 à 39,2 %. Nos résultats montrent que la génération procédurale d'environnements, combinée à des assets articulés variés, peut produire des politiques de manipulation robustes qui généralisent largement au monde réel.

Liens

• arXiv 2603.16861: https://arxiv.org/abs/2603.16861
• PDF: https://arxiv.org/pdf/2603.16861
• Code: https://github.com/allenai/MolmoBot
• Page du projet: https://allenai.github.io/MolmoBot/
• Jeu de données: https://huggingface.co/datasets/allenai/molmobot-data