MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation

Autoren: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026

Lizenzen

• Open Access
• Paper: arXiv.org perpetual, non-exclusive license 1.0

Gemäß der Lizenz von arXiv beruht alles Folgende nur auf dem Abstract.

Warum es wichtig ist

Es wird weithin angenommen, dass Sim-to-Real-Transfer einige reale Daten oder aufgabenspezifisches Fine-Tuning benötigt. Die Autoren berichten von Zero-Shot-Transfer allein aus der Simulation auf unbekannte Objekte und Umgebungen, wobei MolmoBot beim realen Pick-and-Place auf dem Tisch über vier Settings hinweg 79,2 % Erfolg erreicht, gegenüber 39,2 % für π0.5.

Lösungsansatz

MolmoBot-Engine ist eine Open-Source-Pipeline, die in MolmoSpaces prozedural Daten über Roboter, Aufgaben und simulierte Umgebungen hinweg erzeugt; die Autoren veröffentlichen MolmoBot-Data (1,7 Millionen Experten-Trajektorien) und trainieren drei Policy-Klassen, evaluiert auf einem Franka FR3 für Tischaufgaben und einem mobilen Manipulator RB-Y1 von Rainbow Robotics.

Zusammenfassung

In der Roboterlernforschung herrscht die Ansicht vor, dass Simulation allein nicht ausreicht; für einen wirksamen Sim-to-Real-Transfer gilt weithin als nötig, zumindest einige reale Daten zu sammeln oder aufgabenspezifisches Fine-Tuning durchzuführen, um die Lücke zwischen simulierten und physischen Umgebungen zu schließen. Wir stellen diese Annahme in Frage. Mit ausreichend großen und vielfältigen simulierten synthetischen Trainingsdaten zeigen wir, dass Zero-Shot-Transfer in die reale Welt nicht nur möglich, sondern wirksam ist, sowohl für stationäre als auch für mobile Manipulation. Wir stellen MolmoBot-Engine vor, eine vollständig quelloffene Pipeline zur prozeduralen Datenerzeugung über Roboter, Aufgaben und vielfältige simulierte Umgebungen hinweg in MolmoSpaces. Damit veröffentlichen wir MolmoBot-Data, einen Datensatz mit 1,7 Millionen Experten-Trajektorien für die Manipulation artikulierter Objekte und Pick-and-Place-Aufgaben. Wir trainieren drei Policy-Klassen: MolmoBot, ein auf Molmo2 basierendes Multi-Frame-Vision-Language-Modell mit einem Flow-Matching-Aktionskopf; MolmoBot-Pi0, das die π0-Architektur nachbildet, um einen direkten Vergleich zu ermöglichen; und MolmoBot-SPOC, eine leichtgewichtige Policy, die sich für den Einsatz auf Edge-Geräten eignet und für Fine-Tuning mit Reinforcement Learning zugänglich ist. Wir evaluieren auf zwei Roboterplattformen: dem Franka FR3 für Manipulationsaufgaben am Tisch und dem mobilen Manipulator Rainbow Robotics RB-Y1 für das Öffnen von Türen, die Manipulation von Schubladen, die Interaktion mit Schränken und mobiles Pick-and-Place. Ohne jedes Fine-Tuning in der realen Welt erreichen unsere Policies Zero-Shot-Transfer auf ungesehene Objekte und Umgebungen. Beim Pick-and-Place am Tisch erreicht MolmoBot in realen Evaluationen über 4 Settings eine Erfolgsrate von 79,2 % und übertrifft damit π0.5 mit 39,2 %. Unsere Ergebnisse zeigen, dass prozedurale Umgebungserzeugung in Kombination mit vielfältigen artikulierten Assets robuste Manipulations-Policies hervorbringen kann, die breit auf die reale Welt generalisieren.

Links

• arXiv 2603.16861: https://arxiv.org/abs/2603.16861
• PDF: https://arxiv.org/pdf/2603.16861
• Code: https://github.com/allenai/MolmoBot
• Projektseite: https://allenai.github.io/MolmoBot/
• Datensatz: https://huggingface.co/datasets/allenai/molmobot-data