MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
Autores: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026
Licenças
- Acesso aberto
- Artigo: arXiv.org perpetual, non-exclusive license 1.0
Conforme a licença do arXiv, tudo o que segue foi escrito apenas a partir do resumo.
Por que importa
Acredita-se amplamente que a transferência da simulação para a realidade exige alguns dados do mundo real ou ajuste fino específico para a tarefa. Os autores relatam transferência zero-shot apenas a partir da simulação para objetos e ambientes não vistos, com o MolmoBot atingindo 79,2 % de sucesso em pick-and-place real sobre mesa em quatro configurações, contra 39,2 % do π0.5.
Solução proposta
O MolmoBot-Engine é um pipeline de código aberto que gera dados de forma procedural abrangendo robôs, tarefas e ambientes simulados no MolmoSpaces; os autores disponibilizam o MolmoBot-Data (1,7 milhão de trajetórias de especialistas) e treinam três classes de políticas, avaliadas em um Franka FR3 para tarefas sobre mesa e em um manipulador móvel Rainbow Robotics RB-Y1.
Resumo
Uma visão predominante no aprendizado de robôs é que a simulação sozinha não basta; acredita-se amplamente que uma transferência sim-to-real eficaz exige ao menos alguma coleta de dados do mundo real ou um ajuste fino específico da tarefa para superar a lacuna entre ambientes simulados e físicos. Nós contestamos essa suposição. Com dados de treinamento sintéticos simulados em escala e diversidade suficientes, mostramos que a transferência zero-shot para o mundo real não só é possível como é eficaz, tanto para manipulação estática quanto móvel. Apresentamos o MolmoBot-Engine, um pipeline totalmente de código aberto para geração procedural de dados entre robôs, tarefas e ambientes simulados diversos no MolmoSpaces. Com ele, liberamos o MolmoBot-Data, um conjunto de dados de 1,7 milhão de trajetórias de especialistas para manipulação de objetos articulados e tarefas de pick-and-place. Treinamos três classes de política: MolmoBot, um modelo de visão e linguagem multiframe baseado no Molmo2 com uma cabeça de ação de flow matching; MolmoBot-Pi0, que replica a arquitetura do π0 para permitir uma comparação direta; e MolmoBot-SPOC, uma política leve adequada para implantação em dispositivos de borda e passível de ajuste fino com aprendizado por reforço. Avaliamos em duas plataformas robóticas: o Franka FR3 para tarefas de manipulação sobre mesa e o manipulador móvel Rainbow Robotics RB-Y1 para abrir portas, manipular gavetas, interagir com armários e fazer pick-and-place móvel. Sem nenhum ajuste fino no mundo real, nossas políticas alcançam transferência zero-shot para objetos e ambientes inéditos. Em pick-and-place sobre mesa, o MolmoBot atinge uma taxa de sucesso de 79,2% em avaliações reais em 4 cenários, superando o π0.5, com 39,2%. Nossos resultados demonstram que a geração procedural de ambientes combinada com ativos articulados diversos pode produzir políticas de manipulação robustas que generalizam amplamente para o mundo real.
Links
- arXiv 2603.16861: https://arxiv.org/abs/2603.16861
- PDF: https://arxiv.org/pdf/2603.16861
- Código: https://github.com/allenai/MolmoBot
- Página do projeto: https://allenai.github.io/MolmoBot/
- Conjunto de dados: https://huggingface.co/datasets/allenai/molmobot-data