MolmoBot
Manipulations-Policies von Ai2, nur in Simulation trainiert, zero-shot auf DROID-Franka
Lizenz
- code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
- MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
- MolmoBot-Data: ODC Attribution 1.0
Geteilte Lizenzierung. Code: Apache-2.0, laut LICENSE, derselbe Text in jedem der Pakete MolmoBot, MolmoBot-Pi0 und MolmoBot-SPOC. MolmoBot-Checkpoints, darunter MolmoBot-DROID und die Policies für den RB-Y1: Apache-2.0, laut ihren Hugging-Face-Karten; sie sind von Molmo2-4B aus feinabgestimmt, ebenfalls Apache-2.0, dessen Karte vermerkt, dass es mit Datensätzen Dritter trainiert wurde, die auf akademische und nichtkommerzielle Forschung beschränkt sind. MolmoBot-Pi0-DROID: die Gemma-Lizenz, weil es auf PaliGemma aufbaut. MolmoBot-SPOC-Checkpoints: Lizenz nur als other angegeben, und die Lizenzdatei, auf die ihre Karten verweisen, existiert nicht. MolmoBot-Data: ODC-BY 1.0; einige Szenen nutzen Objaverse-Objekte unter nichtkommerziellen Lizenzen, und eine Liste kommerziell nutzbarer Episoden liegt bei. Ai2 bittet darum, Modelle und Daten gemäß seinen Responsible Use Guidelines zu nutzen. Geprüft am 2026-11-08 anhand von LICENSE und den Hugging-Face-Karten.
Überblick
MolmoBot ist eine Familie von Policies für Robotermanipulation des Allen Institute for AI (Ai2), die nur mit simulierten Daten trainiert sind und auf echten Robotern ohne reale Daten oder Fine-Tuning laufen. Der wichtigste Checkpoint, MolmoBot-DROID, steuert einen Franka-Arm in der DROID-Konfiguration aus einer Handgelenkkamera, einer externen Kamera und einer Textanweisung wie put the red mug in the black bowl. Die Trainingsdaten, MolmoBot-Data, umfassen 1,7 Millionen Experten-Trajektorien, erzeugt in MuJoCo in mehr als 94.000 prozedural generierten Häusern, mit starker Randomisierung von Objekten, Beleuchtung und Kameraposition. Ai2 veröffentlicht drei Policy-Typen, neun Checkpoints für den Franka und den mobilen Manipulator Rainbow Robotics RB-Y1, den Trainings- und Evaluierungscode, den Datensatz und die Engine zur Datenerzeugung. Das Paper wird auf der CoRL 2026 vorgestellt.
MolmoBot ist eine Reihe von Manipulations-Policies von Ai2, gemeinsam mit der University of Washington, der UCLA, der TU Darmstadt und Princeton, gebaut, um eine These zu prüfen: dass eine nur in Simulation trainierte Policy auf einem echten Roboter funktionieren kann, ohne reale Daten und ohne Fine-Tuning, eine strenge Form des Sim-to-Real-Transfers. Der wichtigste Checkpoint, MolmoBot-DROID, steuert einen Franka-Arm, der wie bei DROID aufgebaut ist, mit einem Greifer Robotiq 2F-85, einer Handgelenkkamera ZED Mini und einer Kamera ZED 2, die irgendwo um den Tisch stehen kann. Aus einer Textanweisung wie "put the red mug in the black bowl" gibt sie absolute Gelenkpositionen für Arm und Greifer aus.
Die Daten stammen von MolmoBot-Engine, einem prozeduralen Generator, der inzwischen Teil des Repositorys MolmoSpaces ist. Er platziert Objekte aus iTHOR und Objaverse in vorgefertigten MolmoSpaces-Häusern, rendert sie in MuJoCo und lässt skriptgesteuerte Experten Griffe auswählen, jede Phase der Bewegung planen (Bewegungsplanung) und neu beginnen, wenn ein Griff abrutscht. Beleuchtung, Texturen, Reibung, Massen, die Startpose des Roboters und die Position jeder Kamera werden randomisiert (Domain Randomization). Das Ergebnis, MolmoBot-Data, enthält 1,7 Millionen Trajektorien und 5.704 Stunden Robotererfahrung in mehr als 94.000 Umgebungen mit 11.000 Objekten und 9.000 Ablagen, für 8 Aufgabentypen auf zwei Robotern: dem Franka FR3 für Pick-and-Place auf dem Tisch und dem mobilen Manipulator Rainbow Robotics RB-Y1 zum Greifen und zum Öffnen von Schubladen, Schränken und Türen. Die Erzeugung dauerte etwa 6.500 GPU-Stunden.
Darauf werden drei Policy-Typen per Imitationslernen trainiert. MolmoBot selbst baut auf dem Vision-Language-Modell Molmo2-4B auf, mit einem Aktionskopf aus einem Diffusion Transformer, der jede Schicht des Sprachmodells liest und per Flow Matching Abschnitte von 16 Schritten mit Gelenkpositionen vorhersagt; sie kann bis zu 3 jüngste Bilder pro Kamera aufnehmen. MolmoBot-Pi0 übernimmt die Architektur von π0 über den Code von openpi und startet von PaliGemma, damit sie sich direkt mit den Modellen von Physical Intelligence vergleichen lässt. MolmoBot-SPOC ist eine kleine Transformer-Policy für Edge-Geräte und für späteres bestärkendes Lernen in der Simulation. Neun Checkpoints liegen auf Hugging Face, für den DROID-Franka sowie für das Öffnen von Türen und Multitask-Arbeit auf dem RB-Y1.
Auf einem DROID-Roboter läuft die Policy als Server auf einem GPU-PC, während Roboter und Greifer unter Polymetis laufen; eine Einrichtungsanleitung behandelt Kameras, Konfiguration und das Client-Skript. Ein Demo-Notebook baut eine simulierte Szene, lädt einen Checkpoint und spielt eine Episode ohne Hardware ab, und die Trainingsbefehle, die MolmoBot-DROID aus den öffentlichen Daten reproduzieren, stehen im Repository.
Im Paper lief jede Policy 120-mal auf echten DROID-Robotern: 4 Räume mit je 10 Pick-and-Place-Aufgaben und 3 Versuchen pro Aufgabe, auf 3 Robotern an 2 Einrichtungen. MolmoBot war in 79,2 % der Versuche erfolgreich, gegenüber 39,2 % für π0.5-DROID, das mit realen Demonstrationen trainiert ist, und MolmoBot-Pi0 erreichte 46,7 % mit der Architektur von π0 und nur simulierten Daten. Mobile Aufgaben sind weniger ausgereift: an drei echten Zugtüren öffnete der RB-Y1 die Tür in 2 von 9 Versuchen. Das sind die eigenen Ergebnisse der Autoren; die Projektseite zeigt Aufnahmen der realen DROID-Versuche.
Warum es wichtig ist
Offene VLA-Policies wie π0.5 in openpi lernen aus mehr als 10.000 Stunden realer Roboterdemonstrationen, Daten, die nicht öffentlich sind und die Außenstehende nicht neu erzeugen können. MolmoBot ersetzt das durch simulierte Daten, die jeder herunterladen oder mit der veröffentlichten Engine neu erzeugen kann, und in den Tests der Autoren schlug es π0.5 auf derselben DROID-Hardware, ohne eine einzige reale Demonstration gesehen zu haben. Für ein Labor mit einem Franka im DROID-Aufbau heißt das: eine Policy zum Ausprobieren, ohne Daten zu sammeln, und ein vollständiges Rezept, von der Szenenerzeugung bis zum Training, um neue Aufgaben oder Roboter hinzuzufügen. Es ist das Gegenstück zu MolmoAct2, dem VLA von Ai2, das über Aktionen schlussfolgert: MolmoAct2 liefert Foundation-Checkpoints, die für jeden Roboter mit realen Demonstrationen wie DROID feinabgestimmt werden sollen, während MolmoBot nur aus Simulation lernt und unverändert laufen soll. Der Haken ist die Reichweite: Die Aufgaben sind starres Pick-and-Place und Öffnen, und alles außer einem DROID-Franka oder einem RB-Y1 braucht eigene simulierte Daten und eigenes Training.
Welches Problem es löst
Das Training einer Manipulations-Policy braucht meist große Mengen realer Roboterdemonstrationen, die langsam und teuer zu sammeln und meist nicht öffentlich sind. MolmoBot zeigt, dass prozedural erzeugte Simulationsdaten, breit genug randomisiert, Policies trainieren können, die zero-shot auf echten Robotern funktionieren, und veröffentlicht Daten, Generator und Trainingscode, damit andere das Ergebnis reproduzieren oder erweitern können.
Wichtigste Punkte
- Manipulations-Policies, nur mit simulierten Daten trainiert, laufen auf echten Robotern ohne Fine-Tuning mit realen Daten
- MolmoBot-DROID läuft auf einem DROID-Franka mit einer Handgelenkkamera und einer beliebig platzierten externen Kamera
- Trainiert auf MolmoBot-Data: 1,7 Millionen simulierte Experten-Trajektorien in mehr als 94.000 Häusern
- Drei Policy-Typen: ein VLA auf Basis von Molmo2, ein Nachbau von π0 und ein kleiner Transformer für Edge-Geräte
- Code, die meisten Checkpoints und die Engine zur Datenerzeugung sind offen; der Datensatz steht unter ODC-BY
- 79,2 % Erfolg bei realem Pick-and-Place gegenüber 39,2 % für π0.5-DROID, in den Tests der Autoren
Für wen
- Labore mit einem Franka im DROID-Aufbau, die eine Pick-and-Place-Policy ohne Datensammlung wollen
- Forschende im Robot Learning, die Sim-to-Real-Transfer und synthetische Trainingsdaten untersuchen
- Teams, die Pipelines für Simulationsdaten für neue Roboter oder Aufgaben bauen
- Besitzer eines Rainbow Robotics RB-Y1, die an mobiler Manipulation arbeiten
Einschränkungen
- Die veröffentlichten Checkpoints laufen nur auf einem Franka im DROID-Aufbau (Greifer Robotiq 2F-85, Handgelenkkamera ZED Mini und externe Kamera ZED 2, Polymetis) oder auf einem Rainbow Robotics RB-Y1; andere Roboter brauchen neue simulierte Daten und neues Training
- Die Aufgaben beschränken sich auf das Greifen starrer Objekte, Pick-and-Place und das Öffnen gelenkiger Objekte; Einsetzen, verformbare Objekte und Flüssigkeiten nennen die Autoren vorerst als außer Reichweite
- Mobile Manipulation steht am Anfang: Der RB-Y1 öffnete eine echte Zugtür in 2 von 9 Versuchen
- MolmoBot-Pi0-DROID steht unter der Gemma-Lizenz, und die drei MolmoBot-SPOC-Checkpoints geben nur other ohne Lizenzdatei an, daher ist nicht jeder Checkpoint Apache-2.0
- MolmoBot-Data ist etwa 10 TB groß und enthält Objaverse-Objekte unter nichtkommerziellen Lizenzen; eine Liste kommerziell nutzbarer Episoden liegt bei
- Das Training braucht Multi-GPU-Cluster: Die README nennt 8 bis 64 H100-GPUs für MolmoBot-DROID und 32 für MolmoBot-Pi0-DROID, und der Checkpoint von MolmoBot-DROID ist etwa 20 GB groß
- Alle Ergebnisse stammen von den Autoren selbst, auf ihren Robotern und ihren eigenen Simulations-Benchmarks