MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation

Autori: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026

Licenze

Open access
Articolo: arXiv.org perpetual, non-exclusive license 1.0

In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.

Perché è importante

Si ritiene comunemente che il trasferimento dalla simulazione alla realtà richieda alcuni dati del mondo reale o un fine-tuning specifico per il compito. Gli autori riportano un trasferimento zero-shot dalla sola simulazione a oggetti e ambienti mai visti, con MolmoBot che raggiunge il 79,2 % di successo nel pick-and-place reale su tavolo in quattro configurazioni, contro il 39,2 % di π0.5.

Soluzione proposta

MolmoBot-Engine è una pipeline open source che genera proceduralmente dati su robot, compiti e ambienti simulati in MolmoSpaces; gli autori rilasciano MolmoBot-Data (1,7 milioni di traiettorie esperte) e addestrano tre classi di policy, valutate su un Franka FR3 per compiti su tavolo e su un manipolatore mobile Rainbow Robotics RB-Y1.

Abstract

Un'opinione prevalente nell'apprendimento robotico è che la simulazione da sola non basti; si ritiene comunemente che un trasferimento sim-to-real efficace richieda almeno una certa raccolta di dati reali o un fine-tuning specifico per il compito per colmare il divario tra ambienti simulati e fisici. Noi mettiamo in discussione questa ipotesi. Con dati di addestramento sintetici simulati su scala e con varietà sufficienti, mostriamo che il trasferimento zero-shot al mondo reale non solo è possibile, ma è efficace, sia per la manipolazione statica sia per quella mobile. Presentiamo MolmoBot-Engine, una pipeline completamente open source per la generazione procedurale di dati attraverso robot, compiti e ambienti simulati diversi in MolmoSpaces. Con essa rilasciamo MolmoBot-Data, un dataset di 1,7 milioni di traiettorie di esperti per la manipolazione di oggetti articolati e compiti di pick-and-place. Addestriamo tre classi di policy: MolmoBot, un modello Vision-Language (VLM) multi-frame basato su Molmo2 con una testa di azione a flow matching; MolmoBot-Pi0, che replica l'architettura di π0 per consentire un confronto diretto; e MolmoBot-SPOC, una policy leggera adatta al deployment su dispositivi edge e predisposta al fine-tuning con apprendimento per rinforzo. Valutiamo su due piattaforme robotiche: il Franka FR3 per compiti di manipolazione su tavolo e il manipolatore mobile Rainbow Robotics RB-Y1 per l'apertura di porte, la manipolazione di cassetti, l'interazione con armadietti e il pick-and-place mobile. Senza alcun fine-tuning nel mondo reale, le nostre policy ottengono un trasferimento zero-shot verso oggetti e ambienti mai visti. Nel pick-and-place su tavolo, MolmoBot raggiunge un tasso di successo del 79,2% in valutazioni reali in 4 contesti, superando π0.5, fermo al 39,2%. I nostri risultati dimostrano che la generazione procedurale di ambienti, combinata con asset articolati diversi, può produrre policy di manipolazione robuste che generalizzano ampiamente al mondo reale.

Link

arXiv 2603.16861: https://arxiv.org/abs/2603.16861
PDF: https://arxiv.org/pdf/2603.16861
Codice: https://github.com/allenai/MolmoBot
Pagina del progetto: https://allenai.github.io/MolmoBot/
Dataset: https://huggingface.co/datasets/allenai/molmobot-data