MolmoBot
Policy di manipolazione di Ai2 addestrate solo in simulazione, zero-shot su Franka DROID
Licenza
- code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
- MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
- MolmoBot-Data: ODC Attribution 1.0
Licenze separate. Codice: Apache-2.0, secondo LICENSE, lo stesso testo in ciascuno dei pacchetti MolmoBot, MolmoBot-Pi0 e MolmoBot-SPOC. Checkpoint MolmoBot, compresi MolmoBot-DROID e le policy dell'RB-Y1: Apache-2.0, secondo le loro schede Hugging Face; sono rifiniti a partire da Molmo2-4B, anch'esso Apache-2.0, la cui scheda segnala che è stato addestrato su dataset di terzi limitati alla ricerca accademica e non commerciale. MolmoBot-Pi0-DROID: la licenza Gemma, perché si basa su PaliGemma. Checkpoint MolmoBot-SPOC: licenza indicata solo come other, e il file di licenza a cui rimandano le loro schede non esiste. MolmoBot-Data: ODC-BY 1.0; alcune scene usano oggetti Objaverse con licenze non commerciali, ed è fornito un elenco di episodi utilizzabili commercialmente. Ai2 chiede che modelli e dati siano usati secondo le sue Responsible Use Guidelines. Verificato il 2026-11-08 su LICENSE e sulle schede Hugging Face.
Panoramica
MolmoBot è una famiglia di policy di manipolazione robotica dell'Allen Institute for AI (Ai2), addestrate solo con dati simulati ed eseguite su robot reali senza alcun dato reale né fine-tuning. Il suo checkpoint principale, MolmoBot-DROID, comanda un braccio Franka nella configurazione DROID a partire da una telecamera al polso, una telecamera esterna e un'istruzione testuale come put the red mug in the black bowl. I dati di addestramento, MolmoBot-Data, sono 1,7 milioni di traiettorie esperte generate in MuJoCo in oltre 94.000 case generate proceduralmente, con una forte randomizzazione di oggetti, illuminazione e posizione delle telecamere. Ai2 rilascia tre tipi di policy, nove checkpoint per il Franka e per il manipolatore mobile Rainbow Robotics RB-Y1, il codice di addestramento e valutazione, il dataset e il motore di generazione dei dati. L'articolo è presentato a CoRL 2026.
MolmoBot è un insieme di policy di manipolazione di Ai2, con la University of Washington, la UCLA, la TU Darmstadt e Princeton, costruito per verificare una tesi: che una policy addestrata solo in simulazione possa funzionare su un robot reale senza dati reali e senza fine-tuning, una forma rigorosa di trasferimento sim-to-real. Il suo checkpoint principale, MolmoBot-DROID, comanda un braccio Franka montato come in DROID, con una pinza Robotiq 2F-85, una telecamera al polso ZED Mini e una telecamera ZED 2 che può stare in qualsiasi punto attorno al tavolo. Da un'istruzione testuale come "put the red mug in the black bowl" produce posizioni assolute dei giunti per il braccio e la pinza.
I dati vengono da MolmoBot-Engine, un generatore procedurale che ora fa parte del repository MolmoSpaces. Colloca oggetti di iTHOR e Objaverse in case MolmoSpaces già pronte, le renderizza in MuJoCo e fa scegliere le prese a esperti programmati, che pianificano ogni fase del movimento (pianificazione del movimento) e ricominciano quando una presa scivola. Illuminazione, texture, attrito, masse, la posa iniziale del robot e la posizione di ogni telecamera vengono randomizzate (domain randomization). Il risultato, MolmoBot-Data, contiene 1,7 milioni di traiettorie e 5.704 ore di esperienza robotica in oltre 94.000 ambienti, 11.000 oggetti e 9.000 contenitori, per 8 tipi di compito su due robot: il Franka FR3 per il pick-and-place sul tavolo e il manipolatore mobile Rainbow Robotics RB-Y1 per afferrare oggetti e aprire cassetti, armadi e porte. Generarlo ha richiesto circa 6.500 ore-GPU.
Su questi dati vengono addestrati tre tipi di policy con l'apprendimento per imitazione. MolmoBot vero e proprio si basa sul modello Vision-Language (VLM) Molmo2-4B, con una testa d'azione di tipo diffusion transformer che legge ogni strato del modello linguistico e prevede con il flow matching blocchi di 16 passi di posizioni dei giunti; può ricevere fino a 3 fotogrammi recenti per telecamera. MolmoBot-Pi0 riprende l'architettura di π0 tramite il codice di openpi e parte da PaliGemma, per un confronto diretto con i modelli di Physical Intelligence. MolmoBot-SPOC è una piccola policy Transformer pensata per dispositivi edge e per un futuro apprendimento per rinforzo in simulazione. Nove checkpoint sono su Hugging Face, per il Franka DROID e per l'apertura di porte e il lavoro multitask sull'RB-Y1.
Su un robot DROID la policy gira come server su un PC con GPU, mentre robot e pinza girano sotto Polymetis; una guida all'installazione copre le telecamere, la configurazione e lo script client. Un notebook dimostrativo crea una scena simulata, carica un checkpoint ed esegue un episodio senza hardware, e i comandi di addestramento che riproducono MolmoBot-DROID dai dati pubblici sono nel repository.
Nell'articolo ogni policy è stata eseguita 120 volte su robot DROID reali: 4 stanze con 10 compiti di pick-and-place ciascuna e 3 prove per compito, su 3 robot in 2 istituzioni. MolmoBot è riuscito nel 79,2% delle prove, contro il 39,2% di π0.5-DROID, addestrato su dimostrazioni reali, e MolmoBot-Pi0 ha raggiunto il 46,7% con l'architettura di π0 e solo dati simulati. Il lavoro mobile è meno maturo: su tre porte reali da tirare, l'RB-Y1 ha aperto la porta in 2 prove su 9. Sono risultati degli autori stessi; la pagina del progetto contiene le registrazioni delle prove reali su DROID.
Perché è importante
Le policy VLA aperte come π0.5 in openpi imparano da oltre 10.000 ore di dimostrazioni su robot reali, dati che non sono pubblici e che nessuno dall'esterno può rigenerare. MolmoBot li sostituisce con dati simulati che chiunque può scaricare o rigenerare con il motore rilasciato, e nei test degli autori ha battuto π0.5 sullo stesso hardware DROID senza vedere una sola dimostrazione reale. Per un laboratorio con un Franka di tipo DROID significa una policy da provare senza raccogliere dati, e una ricetta completa, dalla generazione delle scene all'addestramento, per aggiungere nuovi compiti o robot. È il complemento di MolmoAct2, il VLA di Ai2 che ragiona sulle azioni: MolmoAct2 fornisce checkpoint di base da rifinire per ogni robot su dimostrazioni reali, come DROID, mentre MolmoBot impara solo dalla simulazione ed è pensato per funzionare così com'è. Il limite è la portata: i compiti sono pick-and-place di oggetti rigidi e apertura, e qualsiasi robot diverso da un Franka DROID o da un RB-Y1 richiede dati simulati e addestramento propri.
Il problema che risolve
Addestrare una policy di manipolazione richiede di solito grandi quantità di dimostrazioni su robot reali, lente e costose da raccogliere e per lo più chiuse. MolmoBot mostra che dati di simulazione generati proceduralmente, randomizzati in modo abbastanza ampio, possono addestrare policy che funzionano zero-shot su robot reali, e rilascia i dati, il generatore e il codice di addestramento perché altri possano riprodurre o estendere il risultato.
Punti chiave
- Policy di manipolazione addestrate solo con dati simulati, eseguite su robot reali senza fine-tuning su dati reali
- MolmoBot-DROID funziona su un Franka DROID con una telecamera al polso e una telecamera esterna posizionata ovunque
- Addestrato su MolmoBot-Data: 1,7 milioni di traiettorie esperte simulate in oltre 94.000 case
- Tre tipi di policy: un VLA basato su Molmo2, una replica di π0 e un piccolo Transformer per dispositivi edge
- Il codice, la maggior parte dei checkpoint e il motore di generazione dei dati sono aperti; il dataset è ODC-BY
- 79,2% di successo nel pick-and-place reale contro il 39,2% di π0.5-DROID, nei test degli autori
A chi si rivolge
- Laboratori con un Franka di tipo DROID che vogliono una policy di pick-and-place senza raccogliere dati
- Ricercatori di robot learning che studiano il trasferimento sim-to-real e i dati di addestramento sintetici
- Team che costruiscono pipeline di dati di simulazione per nuovi robot o compiti
- Proprietari di un Rainbow Robotics RB-Y1 che lavorano sulla manipolazione mobile
Limiti
- I checkpoint rilasciati funzionano solo su un Franka di tipo DROID (pinza Robotiq 2F-85, telecamera al polso ZED Mini e telecamera esterna ZED 2, Polymetis) o su un Rainbow Robotics RB-Y1; altri robot richiedono nuovi dati simulati e un nuovo addestramento
- I compiti si limitano ad afferrare oggetti rigidi, al pick-and-place e all'apertura di oggetti articolati; gli autori indicano inserimento, oggetti deformabili e fluidi come per ora fuori portata
- La manipolazione mobile è agli inizi: l'RB-Y1 ha aperto una vera porta da tirare in 2 prove su 9
- MolmoBot-Pi0-DROID è sotto la licenza Gemma, e i tre checkpoint MolmoBot-SPOC indicano solo other senza file di licenza, quindi non tutti i checkpoint sono Apache-2.0
- MolmoBot-Data occupa circa 10 TB e include oggetti Objaverse con licenze non commerciali; è fornito un elenco di episodi utilizzabili commercialmente
- L'addestramento richiede cluster multi-GPU: il README indica da 8 a 64 GPU H100 per MolmoBot-DROID e 32 per MolmoBot-Pi0-DROID, e il checkpoint di MolmoBot-DROID occupa circa 20 GB
- Tutti i risultati sono degli autori stessi, sui loro robot e sui loro benchmark di simulazione