MolmoAct2: Action Reasoning Models for Real-World Deployment

Autori: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

Perché è importante

La maggior parte delle policy robotiche capaci è chiusa, e quelle aperte di solito pubblicano i pesi senza i dati e la ricetta che ci stanno dietro, oppure presuppongono robot costosi. MolmoAct2 pubblica tutte e tre le cose: pesi del modello, codice di addestramento e l'intera miscela di addestramento, comprese circa 720 ore di nuovi dati bimanuali raccolti in teleoperazione su bracci YAM, il cui allestimento completo secondo gli autori costa meno di 6.000 dollari statunitensi. L'articolo è il riferimento su come quel rilascio è stato costruito e su quanto funziona, e CoRL 2026 lo ha scelto come spotlight. Per chi legge questo catalogo, l'aspetto pratico è che due dei suoi checkpoint messi a punto funzionano senza ulteriore addestramento su hardware che molti laboratori e appassionati hanno già: un braccio Franka in stile DROID e il braccio SO-100 o SO-101. L'articolo mostra anche idee che altri sviluppatori di modelli possono riprendere: un tokenizzatore di azioni in stile FAST addestrato in modo aperto, una pipeline di filtraggio che trasforma 1.222 dataset LeRobot caricati dalla comunità in dati di addestramento utilizzabili, e un esperto di azioni condizionato a ogni strato da chiavi e valori del backbone, che nell'ablazione degli autori ha fatto meglio del condizionamento sugli stati nascosti. Il modello stesso, con i suoi checkpoint e le guide all'uso, ha una propria pagina nel nostro catalogo; questa pagina tratta il metodo e i risultati dell'articolo.

Problema

I modelli Vision-Language-Action promettono un solo controllore per molti robot, ma l'articolo indica quattro ostacoli all'impiego reale. I modelli più forti sono chiusi, e i pochi a pesi aperti trattengono dati e ricetta di addestramento, così nessuno può riprodurli o estenderli. I modelli aperti che funzionano subito sono legati a robot costosi o specializzati. Le policy che ragionano prima di agire, per esempio prevedendo profondità, immagini obiettivo o traiettorie, spendono centinaia di token per passo e diventano troppo lente per il controllo ad anello chiuso. E anche dopo il fine-tuning, il successo su compiti realistici resta sotto quanto serve per un uso affidabile. I dati robotici pubblici da soli non risolvono il problema: Open X-Embodiment ha una qualità disomogenea, buona parte di DROID è fatta di pause o ripetizioni, i caricamenti SO-100 della comunità portano etichette segnaposto come lerobot_test, e nessun dataset aperto offriva dati bimanuali di alta qualità sulla piattaforma su cui gli autori volevano lavorare.

Soluzione proposta

Per prima cosa gli autori mettono a punto il loro modello Vision-Language Molmo2 per ottenere Molmo2-ER, su un corpus di circa 3,3 M di esempi di ragionamento incarnato (indicazione di punti, domande spaziali e su video, corrispondenza tra più viste). Raccolgono un dataset YAM bimanuale di 34.500 dimostrazioni su più di 28 compiti e filtrano i caricamenti SO-100/101 della comunità e DROID per struttura, licenza e qualità, rietichettando le istruzioni con un VLM aperto. L'addestramento procede poi in tre fasi. Il pre-addestramento insegna al backbone a emettere token di azione discreti di MolmoAct2-FAST Tokenizer, una reimplementazione aperta di FAST con un vocabolario di 2.048 token, addestrata su un milione di sequenze di azioni di cinque embodiment. Il post-addestramento aggiunge un esperto di azioni in stile DiT con gli stessi 36 strati del backbone; ogni strato dell'esperto applica cross-attention a chiavi e valori dello strato corrispondente del backbone ed è addestrato con flow matching, mentre il backbone mantiene la sua loss sui token. Il fine-tuning adatta poi il modello a un robot e produce checkpoint per YAM bimanuale, Franka di DROID, SO-100/101 e LIBERO. MolmoAct2-Think aggiunge una griglia di 10 per 10 token di profondità prima di agire e ripredice solo le celle le cui porzioni di immagine sono cambiate dal passo precedente. Caching e CUDA Graphs accelerano l'inferenza.

Idee chiave

Un backbone addestrato al ragionamento incarnato aiuta direttamente l'apprendimento delle azioni: sostituire Molmo2 con Molmo2-ER porta il successo su LIBERO-Long dal 77,6% all'83,6% con la stessa configurazione ad azioni discrete
L'esperto di azioni funziona meglio quando ogni suo strato legge chiavi e valori dello strato corrispondente del backbone: 95,9% su LIBERO contro 94,0% con il condizionamento sugli stati nascosti
Ragionare non deve costare una previsione completa a ogni passo: MolmoAct2-Think ripredice i token di profondità solo per le celle d'immagine cambiate e mantiene l'ancoraggio geometrico con una frazione della latenza
Con i dati della comunità la cura conta quanto la quantità: controlli di struttura, controlli di licenza e un filtro di qualità trasformano 1.222 dataset SO-100/101 caricati dalla comunità in dati di addestramento, e rietichettare con un VLM aperto raddoppia il numero di istruzioni uniche
La via continua è quella veloce: decodificare lo stesso blocco di azioni come token discreti gira a 14,17 Hz contro 55,79 Hz dell'esperto a flow matching, che è quindi la scelta predefinita per l'impiego

Risultati principali

Senza ulteriore addestramento su un Franka DROID reale, con telecamere posizionate a caso e oggetti e scene mai visti, MolmoAct2-DROID ottiene in media l'87,1% su cinque compiti di pick-and-place (15 prove ciascuno), contro il 48,4% di MolmoBot e il 45,2% di π0.5-DROID
Senza ulteriore addestramento su un braccio SO-100 reale, MolmoAct2-SO100/101 ottiene il 56,7% su cinque compiti con punteggio parziale, contro il 45,3% di un π0 messo a punto dagli autori sugli stessi dati e il 2,3% di SmolVLA
In simulazione senza fine-tuning, MolmoAct2-DROID ottiene in media il 37,7% su MolmoSpaces contro il 34,5% di π0.5-DROID, e il 20,6% su MolmoBot contro il 10,0%
Dopo il fine-tuning raggiunge il 97,2% su LIBERO (98,1% per MolmoAct2-Think), contro il 96,9% di π0.5 e l'86,6% del precedente MolmoAct, e il 44,3% sul benchmark bimanuale RoboEval contro il 40,5% di π0.5
Messo a punto su 8 compiti YAM bimanuali reali con 50 prove ciascuno, ottiene in media il 50,1% e ne vince 7 su 8, 15 punti sopra il secondo, OpenVLA-OFT
Molmo2-ER ottiene in media il 63,8% su 13 benchmark di ragionamento incarnato, davanti a Gemini Robotics-ER 1.5 Thinking (61,3%) e GPT-5 (57,9%), e 17 punti sopra il Molmo2 da cui parte
Su una H100, caching e CUDA Graphs portano la frequenza di controllo da 23,02 Hz a 55,79 Hz per MolmoAct2 e da 8,04 Hz a 12,71 Hz per MolmoAct2-Think

Limiti

La licenza è chiara per il codice, meno per i pesi: il file LICENSE del repository è Apache-2.0, e il README dice che il modello è concesso in licenza Apache 2.0 ed è destinato a ricerca e didattica secondo le Responsible Use Guidelines di Ai2, ma le schede Hugging Face dei checkpoint MolmoAct2 non indicano alcuna licenza (solo quella di Molmo2-ER lo fa). Le schede dei dataset robotici indicano Apache-2.0, mentre alcuni dataset di addestramento di Molmo2-ER ripubblicati mantengono i termini della loro fonte, tra cui VST-P con la licenza non commerciale CC BY-NC 4.0
La policy esegue blocchi di azioni fissi ad anello aperto: nulla garantisce un movimento fluido tra un blocco e l'altro, non può reagire a contatti o disturbi all'interno di un blocco, e gli autori precisano che i 55,79 Hz sono il throughput ammortizzato per blocco, non la reattività ad anello chiuso
L'uso senza ulteriore addestramento è limitato alle tre piattaforme per cui è stato addestrato (YAM bimanuale, SO-100/101 e Franka di DROID); altri robot, mani, manipolatori mobili o umanoidi richiedono fine-tuning sulle proprie dimostrazioni, e il README dice che le prestazioni così come sono sono state verificate solo su SO-100 e Franka DROID, per compiti semplici dentro la distribuzione di addestramento
I risultati sono degli autori stessi: i test reali senza fine-tuning usano 15 prove per compito, i punteggi SO-100 assegnano credito parziale, due benchmark di simulazione (MolmoSpaces e MolmoBot) e la baseline MolmoBot vengono da Ai2, la baseline π0 per SO-100 è stata messa a punto dagli autori, e la tabella di robustezza intitola la sua riga MolmoAct2-Think mentre il testo attribuisce il risultato a MolmoAct2
L'addestramento va ben oltre una singola GPU da laboratorio: il solo pre-addestramento ha richiesto circa 5.760 ore GPU H100 e il post-addestramento circa 2.304, ogni checkpoint pesa circa 22 GB, e il README avverte che l'inferenza in bfloat16 richiede patch al codice del modello

Impatto sul settore

MolmoAct2 è uno dei pochi modelli Vision-Language-Action con pesi, codice e dati di addestramento completi tutti pubblici, così altri gruppi possono riaddestrare, verificare o estendere ogni fase invece di limitarsi a mettere a punto un checkpoint rilasciato. Porta la baseline aperta su hardware accessibile: gli autori riportano risultati senza ulteriore addestramento su un braccio SO-100 e su un Franka di DROID in scene mai viste, e risultati dopo il fine-tuning su un allestimento YAM bimanuale fuori dal laboratorio. Due risultati di progetto probabilmente andranno oltre questo modello: condizionare l'esperto di azioni con chiavi e valori di ogni strato del backbone, e rendere adattivi i token di ragionamento, così che il loro costo segua quanto cambia la scena. I dati YAM bimanuali rilasciati, descritti dagli autori come il più grande dataset bimanuale aperto finora, e i sottoinsiemi filtrati di SO-100/101 e DROID sono risorse a sé. Molti confronti usano benchmark e baseline degli stessi autori, quindi sarà la replica indipendente a dire quanto reggono i margini.

Abstract

I modelli Vision-Language-Action (VLA) mirano a fornire un unico controllore generalista per i robot, ma i sistemi attuali non bastano per l'impiego nel mondo reale. I modelli di punta sono chiusi; le alternative a pesi aperti sono legate a hardware costoso; le policy con ragionamento pagano una latenza proibitiva per il loro ancoraggio; e i tassi di successo dopo il fine-tuning restano sotto la soglia per un uso affidabile. Presentiamo MolmoAct2, un modello di ragionamento sulle azioni completamente aperto, pensato per l'impiego pratico, che fa avanzare il suo predecessore, MolmoAct, lungo cinque assi. (1) MolmoAct2 si basa sul nostro nuovo Molmo2-ER, un backbone VLM specializzato nel ragionamento spaziale e incarnato, addestrato su un corpus di 3,3 M di campioni con una ricetta che prima specializza e poi ripassa. (2) Pubblichiamo tre nuovi dataset robotici che coprono piattaforme a costo basso e medio: MolmoAct2-BimanualYAM Dataset, 720 ore di traiettorie bimanuali in teleoperazione che costituiscono il più grande dataset bimanuale aperto finora; MolmoAct2-DROID Dataset, un sottoinsieme Franka di DROID filtrato per qualità; e MolmoAct2-SO100/101 Dataset, un sottoinsieme SO-100/101 filtrato per qualità. (3) Addestriamo e pubblichiamo MolmoAct2-FAST Tokenizer, un tokenizzatore di azioni a pesi e dati aperti, addestrato su milioni di traiettorie di cinque embodiment. (4) Progettiamo una nuova architettura VLA che innesta il VLM a token discreti nell'esperto di azioni continue a flow matching tramite un condizionamento chiave-valore (KV) per strato. (5) Proponiamo MolmoAct2-Think, una variante di ragionamento a profondità adattiva che ripredice i token di profondità solo per le regioni della scena che cambiano tra un passo temporale e l'altro, mantenendo l'ancoraggio geometrico con una frazione della latenza precedente. Nello studio empirico più ampio finora per un VLA aperto, su 7 benchmark in simulazione e nel mondo reale, MolmoAct2 supera baseline solide, tra cui π0.5, mentre Molmo2-ER supera GPT-5 e Gemini Robotics ER-1.5 su 13 benchmark di ragionamento incarnato. Pubblichiamo i pesi del modello, il codice di addestramento e i dati di addestramento completi.

Link

arXiv 2605.02881: https://arxiv.org/abs/2605.02881
PDF: https://arxiv.org/pdf/2605.02881
Codice: https://github.com/allenai/molmoact2
Pagina del progetto: https://allenai.org/blog/molmoact2