MolmoAct2: Action Reasoning Models for Real-World Deployment

Autoren: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

Warum es wichtig ist

Die meisten leistungsfähigen Roboter-Policies sind geschlossen, und die offenen veröffentlichen meist Gewichte ohne die Daten und das Rezept dahinter oder setzen teure Roboter voraus. MolmoAct2 veröffentlicht alle drei: Modellgewichte, Trainingscode und die vollständige Trainingsmischung, darunter rund 720 Stunden neuer bimanueller Teleoperationsdaten auf YAM-Armen, deren gesamtes Setup die Autoren auf unter 6.000 US-Dollar beziffern. Das Paper ist die Referenz dafür, wie diese Veröffentlichung entstanden ist und wie gut sie funktioniert, und die CoRL 2026 hat es als Spotlight ausgewählt. Für Leser dieses Katalogs ist der praktische Teil, dass zwei der feinabgestimmten Checkpoints ohne weiteres Training auf Hardware laufen, die viele Labore und Hobbyisten bereits besitzen: einem Franka-Arm im DROID-Stil und dem SO-100- oder SO-101-Arm. Das Paper zeigt außerdem Ideen, die andere Modellentwickler übernehmen können: einen offen trainierten Aktions-Tokenizer im Stil von FAST, eine Filterpipeline, die 1.222 gemeinschaftlich hochgeladene LeRobot-Datensätze in brauchbare Trainingsdaten verwandelt, und einen Aktionsexperten, der in jeder Schicht auf die Keys und Values des Backbones konditioniert ist, was in der Ablation der Autoren die Konditionierung auf Hidden States übertraf. Das Modell selbst hat mit seinen Checkpoints und Einsatzanleitungen eine eigene Seite in unserem Katalog; diese Seite behandelt Methode und Ergebnisse des Papers.

Problem

Vision-Language-Action-Modelle versprechen eine Steuerung für viele Roboter, doch das Paper nennt vier Hindernisse für den realen Einsatz. Die stärksten Modelle sind geschlossen, und die wenigen mit offenen Gewichten halten Daten und Trainingsrezept zurück, sodass niemand sie reproduzieren oder erweitern kann. Die offenen Modelle, die sofort laufen, sind an teure oder spezialisierte Roboter gebunden. Policies, die vor dem Handeln schlussfolgern, etwa indem sie Tiefe, Zielbilder oder Trajektorien vorhersagen, verbrauchen Hunderte Tokens pro Schritt und werden für die Regelung im geschlossenen Kreis zu langsam. Und selbst nach Fine-Tuning bleibt der Erfolg bei realistischen Aufgaben unter dem, was ein verlässlicher Einsatz braucht. Öffentliche Roboterdaten lösen das allein nicht: Open X-Embodiment schwankt in der Qualität, ein großer Teil von DROID ist Leerlauf oder Wiederholung, SO-100-Uploads der Community tragen Platzhalter-Labels wie lerobot_test, und kein offener Datensatz bot hochwertige bimanuelle Daten auf der Plattform, auf der die Autoren einsetzen wollten.

Lösungsansatz

Zuerst stimmen die Autoren ihr Vision-Language-Modell Molmo2 auf einem Korpus von rund 3,3 Mio. Beispielen für verkörpertes Schlussfolgern (Zeigen, räumliche und Videofragen, Zuordnung über mehrere Ansichten) zu Molmo2-ER ab. Sie sammeln einen bimanuellen YAM-Datensatz mit 34.500 Demonstrationen über mehr als 28 Aufgaben und filtern SO-100/101-Uploads der Community sowie DROID nach Struktur, Lizenz und Qualität, wobei sie die Anweisungen mit einem offenen VLM neu beschriften. Das Training läuft dann in drei Stufen. Das Pre-Training bringt dem Backbone bei, diskrete Aktions-Tokens aus MolmoAct2-FAST Tokenizer auszugeben, einer offenen Neuimplementierung von FAST mit einem Vokabular von 2.048 Tokens, trainiert auf einer Million Aktionssequenzen aus fünf Embodiments. Das Post-Training fügt einen Aktionsexperten im DiT-Stil mit denselben 36 Schichten wie das Backbone hinzu; jede Expertenschicht wendet Cross-Attention auf die Keys und Values der passenden Backbone-Schicht an und wird mit Flow Matching trainiert, während das Backbone seinen Token-Loss behält. Das Fine-Tuning passt das Modell dann an einen Roboter an und liefert Checkpoints für bimanuelles YAM, DROID-Franka, SO-100/101 und LIBERO. MolmoAct2-Think fügt vor dem Handeln ein Raster von 10 mal 10 Tiefen-Tokens hinzu und sagt nur die Zellen neu vorher, deren Bildausschnitte sich seit dem letzten Schritt geändert haben. Caching und CUDA Graphs beschleunigen die Inferenz.

Wichtigste Erkenntnisse

Ein Backbone, das für verkörpertes Schlussfolgern trainiert ist, hilft direkt beim Lernen von Aktionen: Der Tausch von Molmo2 gegen Molmo2-ER hebt den Erfolg auf LIBERO-Long von 77,6 % auf 83,6 % bei gleichem Setup mit diskreten Aktionen
Der Aktionsexperte funktioniert besser, wenn jede seiner Schichten die Keys und Values der passenden Backbone-Schicht liest: 95,9 % auf LIBERO gegenüber 94,0 % bei Konditionierung auf Hidden States
Reasoning muss nicht in jedem Schritt eine vollständige Neuvorhersage kosten: MolmoAct2-Think sagt Tiefen-Tokens nur für Bildzellen neu vorher, die sich geändert haben, und behält die geometrische Verankerung zu einem Bruchteil der Latenz
Bei Community-Daten zählt die Kuratierung so viel wie die Menge: Strukturprüfungen, Lizenzprüfungen und ein Qualitätsfilter machen aus 1.222 gemeinschaftlich hochgeladenen SO-100/101-Datensätzen Trainingsdaten, und das Neubeschriften mit einem offenen VLM verdoppelt die Zahl eindeutiger Anweisungen
Der kontinuierliche Pfad ist der schnelle: Derselbe Aktions-Chunk als diskrete Tokens dekodiert läuft mit 14,17 Hz gegenüber 55,79 Hz für den Flow-Matching-Experten, daher ist der Experte die Vorgabe für den Einsatz

Hauptergebnisse

Ohne weiteres Training auf einem realen DROID-Franka, mit zufällig platzierten Kameras und unbekannten Objekten und Szenen, erreicht MolmoAct2-DROID im Mittel 87,1 % über fünf Pick-and-Place-Aufgaben (je 15 Versuche), gegenüber 48,4 % für MolmoBot und 45,2 % für π0.5-DROID
Ohne weiteres Training auf einem realen SO-100-Arm erzielt MolmoAct2-SO100/101 56,7 % über fünf Aufgaben mit Teilpunkten, gegenüber 45,3 % für ein von den Autoren auf denselben Daten feinabgestimmtes π0 und 2,3 % für SmolVLA
In der Simulation ohne Fine-Tuning erreicht MolmoAct2-DROID im Mittel 37,7 % auf MolmoSpaces gegenüber 34,5 % für π0.5-DROID und 20,6 % auf MolmoBot gegenüber 10,0 %
Nach Fine-Tuning erreicht es 97,2 % auf LIBERO (98,1 % für MolmoAct2-Think) gegenüber 96,9 % für π0.5 und 86,6 % für das frühere MolmoAct, sowie 44,3 % auf dem bimanuellen Benchmark RoboEval gegenüber 40,5 % für π0.5
Auf 8 realen bimanuellen YAM-Aufgaben mit je 50 Versuchen feinabgestimmt, erreicht es im Mittel 50,1 % und gewinnt 7 der 8, 15 Punkte vor dem Zweitplatzierten OpenVLA-OFT
Molmo2-ER erreicht im Mittel 63,8 % über 13 Benchmarks für verkörpertes Schlussfolgern, vor Gemini Robotics-ER 1.5 Thinking (61,3 %) und GPT-5 (57,9 %), und 17 Punkte über dem Ausgangsmodell Molmo2
Auf einer H100 heben Caching und CUDA Graphs die Steuerrate von 23,02 Hz auf 55,79 Hz für MolmoAct2 und von 8,04 Hz auf 12,71 Hz für MolmoAct2-Think

Einschränkungen

Die Lizenz ist für den Code klar, für die Gewichte weniger: Die LICENSE-Datei des Repositorys ist Apache-2.0, und das README sagt, das Modell stehe unter Apache 2.0 und sei für Forschung und Lehre gemäß Ai2s Responsible Use Guidelines gedacht, doch die Hugging-Face-Karten der MolmoAct2-Checkpoints nennen keine Lizenz (nur die Karte von Molmo2-ER). Die Karten der Roboterdatensätze nennen Apache-2.0, während einige neu bereitgestellte Trainingsdatensätze von Molmo2-ER die Bedingungen ihrer Quellen behalten, darunter VST-P unter der nicht kommerziellen CC BY-NC 4.0
Die Policy führt feste Aktions-Chunks ohne Rückkopplung aus: Nichts sorgt für glatte Bewegung über Chunk-Grenzen, sie kann innerhalb eines Chunks nicht auf Kontakt oder Störungen reagieren, und die Autoren merken an, dass die 55,79 Hz der amortisierte Chunk-Durchsatz sind, nicht die Reaktionsfähigkeit im geschlossenen Regelkreis
Der Einsatz ohne weiteres Training beschränkt sich auf die drei Plattformen, für die es trainiert wurde (bimanuelles YAM, SO-100/101 und DROID-Franka); andere Roboter, Hände, mobile Manipulatoren oder Humanoide brauchen Fine-Tuning mit eigenen Demonstrationen, und laut README ist die sofortige Leistung nur auf SO-100 und Franka DROID geprüft, für einfache Aufgaben innerhalb der Trainingsverteilung
Die Ergebnisse stammen von den Autoren selbst: Die realen Tests ohne Fine-Tuning nutzen 15 Versuche pro Aufgabe, die SO-100-Werte vergeben Teilpunkte, zwei Simulationsbenchmarks (MolmoSpaces und MolmoBot) sowie die Baseline MolmoBot stammen von Ai2, die π0-Baseline für SO-100 wurde von den Autoren feinabgestimmt, und die Robustheitstabelle beschriftet ihre Zeile mit MolmoAct2-Think, während der Text das Ergebnis MolmoAct2 zuschreibt
Das Training liegt weit jenseits einer einzelnen Labor-GPU: Allein das Pre-Training brauchte rund 5.760 H100-GPU-Stunden und das Post-Training rund 2.304, die Checkpoints sind je etwa 22 GB groß, und das README merkt an, dass Inferenz in bfloat16 Patches am Modellcode braucht

Wirkung auf das Fachgebiet

MolmoAct2 ist eines der wenigen Vision-Language-Action-Modelle, deren Gewichte, Code und vollständige Trainingsdaten alle öffentlich sind, sodass andere Gruppen jede Stufe neu trainieren, prüfen oder erweitern können, statt nur einen veröffentlichten Checkpoint feinabzustimmen. Es verschiebt die offene Baseline auf bezahlbare Hardware: Die Autoren berichten Ergebnisse ohne weiteres Training auf einem SO-100-Arm und einem DROID-Franka in unbekannten Szenen sowie Ergebnisse nach Fine-Tuning auf einem bimanuellen YAM-Setup außerhalb des Labors. Zwei Designergebnisse dürften über dieses Modell hinaus wirken: den Aktionsexperten auf die schichtweisen Keys und Values des Backbones zu konditionieren und Reasoning-Tokens adaptiv zu machen, sodass ihre Kosten davon abhängen, wie stark sich die Szene ändert. Die veröffentlichten bimanuellen YAM-Daten, nach Angabe der Autoren der bislang größte offene bimanuelle Datensatz, und die gefilterten SO-100/101- und DROID-Teilmengen sind eigenständige Ressourcen. Viele Vergleiche nutzen eigene Benchmarks und Baselines der Autoren, daher wird unabhängige Replikation zeigen, wie weit die Abstände halten.

Zusammenfassung

Vision-Language-Action-Modelle (VLA) sollen eine einzige generalistische Steuerung für Roboter liefern, doch heutige Systeme reichen für den realen Einsatz nicht aus. Spitzenmodelle sind geschlossen; Alternativen mit offenen Gewichten sind an teure Hardware gebunden; Policies mit Reasoning zahlen für ihre Verankerung eine untragbare Latenz; und die Erfolgsraten nach Fine-Tuning bleiben unter der Schwelle für einen verlässlichen Einsatz. Wir stellen MolmoAct2 vor, ein vollständig offenes Action-Reasoning-Modell für den praktischen Einsatz, das seinen Vorgänger MolmoAct in fünf Richtungen weiterentwickelt. (1) MolmoAct2 baut auf unserem neuen Molmo2-ER auf, einem VLM-Backbone, das auf räumliches und verkörpertes Schlussfolgern spezialisiert und auf einem Korpus von 3,3 Mio. Beispielen mit einem Rezept aus Spezialisieren und anschließendem Wiederholen trainiert ist. (2) Wir veröffentlichen drei neue Roboterdatensätze für Plattformen niedriger bis mittlerer Kosten: MolmoAct2-BimanualYAM Dataset, 720 Stunden teleoperierter bimanueller Trajektorien und damit der bislang größte offene bimanuelle Datensatz; MolmoAct2-DROID Dataset, eine qualitätsgefilterte Franka-Teilmenge von DROID; und MolmoAct2-SO100/101 Dataset, eine qualitätsgefilterte SO-100/101-Teilmenge. (3) Wir trainieren und veröffentlichen MolmoAct2-FAST Tokenizer, einen Aktions-Tokenizer mit offenen Gewichten und offenen Daten, trainiert auf Millionen von Trajektorien aus fünf Embodiments. (4) Wir entwerfen eine neue VLA-Architektur, die das VLM mit diskreten Tokens über eine schichtweise Key-Value-Konditionierung (KV) an den Flow-Matching-Experten für kontinuierliche Aktionen ankoppelt. (5) Wir schlagen MolmoAct2-Think vor, eine Reasoning-Variante mit adaptiver Tiefe, die Tiefen-Tokens nur für Szenenbereiche neu vorhersagt, die sich zwischen Zeitschritten ändern, und so die geometrische Verankerung zu einem Bruchteil der bisherigen Latenz erhält. In der bislang umfangreichsten empirischen Studie eines offenen VLA über 7 Simulations- und Real-World-Benchmarks übertrifft MolmoAct2 starke Baselines einschließlich π0.5, während Molmo2-ER GPT-5 und Gemini Robotics ER-1.5 in 13 Benchmarks für verkörpertes Schlussfolgern übertrifft. Wir veröffentlichen Modellgewichte, Trainingscode und die vollständigen Trainingsdaten.

Open Source Robotics