Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

MolmoBot

Políticas de manipulação da Ai2 treinadas só em simulação, zero-shot num Franka DROID

Licença

  • code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
  • MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
  • MolmoBot-Data: ODC Attribution 1.0

Licenciamento dividido. Código: Apache-2.0, conforme o LICENSE, o mesmo texto em cada um dos pacotes MolmoBot, MolmoBot-Pi0 e MolmoBot-SPOC. Checkpoints do MolmoBot, incluindo o MolmoBot-DROID e as políticas do RB-Y1: Apache-2.0, conforme seus cartões no Hugging Face; são ajustados a partir do Molmo2-4B, também Apache-2.0, cujo cartão informa que foi treinado com conjuntos de dados de terceiros restritos à pesquisa acadêmica e não comercial. MolmoBot-Pi0-DROID: a licença Gemma, porque se baseia no PaliGemma. Checkpoints do MolmoBot-SPOC: licença indicada só como other, e o arquivo de licença para o qual seus cartões apontam não existe. MolmoBot-Data: ODC-BY 1.0; algumas cenas usam objetos do Objaverse sob licenças não comerciais, e há uma lista de episódios liberados para uso comercial. A Ai2 pede que os modelos e os dados sejam usados conforme suas Responsible Use Guidelines. Verificado em 2026-11-08 com o LICENSE e os cartões do Hugging Face.

Visão geral

MolmoBot é uma família de políticas de manipulação robótica do Allen Institute for AI (Ai2), treinadas só com dados simulados e executadas em robôs reais sem nenhum dado real nem ajuste fino. Seu checkpoint principal, MolmoBot-DROID, controla um braço Franka na configuração DROID a partir de uma câmera de punho, uma câmera externa e uma instrução de texto como put the red mug in the black bowl. Os dados de treinamento, MolmoBot-Data, somam 1,7 milhão de trajetórias especialistas geradas no MuJoCo em mais de 94.000 casas geradas proceduralmente, com forte randomização de objetos, iluminação e posição das câmeras. A Ai2 publica três tipos de política, nove checkpoints para o Franka e para o manipulador móvel Rainbow Robotics RB-Y1, o código de treinamento e avaliação, o conjunto de dados e o motor de geração de dados. O artigo é apresentado na CoRL 2026.

MolmoBot é um conjunto de políticas de manipulação da Ai2, com a University of Washington, a UCLA, a TU Darmstadt e Princeton, criado para testar uma tese: que uma política treinada só em simulação pode funcionar num robô real sem dados reais e sem ajuste fino, uma forma estrita de transferência sim-to-real. Seu checkpoint principal, MolmoBot-DROID, controla um braço Franka montado como no DROID, com uma garra Robotiq 2F-85, uma câmera de punho ZED Mini e uma câmera ZED 2 que pode ficar em qualquer lugar ao redor da mesa. A partir de uma instrução de texto como "put the red mug in the black bowl", ele gera posições absolutas das juntas do braço e da garra.

Os dados vêm do MolmoBot-Engine, um gerador procedural que agora faz parte do repositório MolmoSpaces. Ele coloca objetos do iTHOR e do Objaverse em casas pré-construídas do MolmoSpaces, renderiza tudo no MuJoCo e faz especialistas programados escolherem pegas, planejarem cada fase do movimento (planejamento de movimento) e recomeçarem quando uma pega escorrega. Iluminação, texturas, atrito, massas, a pose inicial do robô e a posição de cada câmera são randomizadas (randomização de domínio). O resultado, MolmoBot-Data, reúne 1,7 milhão de trajetórias e 5.704 horas de experiência robótica em mais de 94.000 ambientes, 11.000 objetos e 9.000 recipientes, para 8 tipos de tarefa em dois robôs: o Franka FR3 para pick-and-place sobre a mesa e o manipulador móvel Rainbow Robotics RB-Y1 para pegar objetos e abrir gavetas, armários e portas. Gerá-lo levou cerca de 6.500 horas de GPU.

Três tipos de política são treinados com ele por aprendizado por imitação. O MolmoBot em si se baseia no modelo de visão e linguagem Molmo2-4B, com uma cabeça de ação do tipo diffusion transformer que lê cada camada do modelo de linguagem e prevê por flow matching trechos de 16 passos com posições das juntas; ele pode receber até 3 quadros recentes por câmera. O MolmoBot-Pi0 copia a arquitetura do π0 por meio do código do openpi e parte do PaliGemma, para ser comparado diretamente com os modelos da Physical Intelligence. O MolmoBot-SPOC é uma pequena política transformador pensada para dispositivos de borda e para um futuro aprendizado por reforço em simulação. Há nove checkpoints no Hugging Face, para o Franka DROID e para abertura de portas e trabalho multitarefa no RB-Y1.

Num robô DROID, a política roda como servidor num PC com GPU, enquanto o robô e a garra rodam sob o Polymetis; um guia de instalação cobre as câmeras, a configuração e o script cliente. Um notebook de demonstração monta uma cena simulada, carrega um checkpoint e executa um episódio sem hardware, e os comandos de treinamento que reproduzem o MolmoBot-DROID a partir dos dados públicos estão no repositório.

No artigo, cada política foi executada 120 vezes em robôs DROID reais: 4 salas com 10 tarefas de pick-and-place cada e 3 tentativas por tarefa, em 3 robôs de 2 instituições. O MolmoBot teve sucesso em 79,2% das tentativas, contra 39,2% do π0.5-DROID, treinado com demonstrações reais, e o MolmoBot-Pi0 chegou a 46,7% com a arquitetura do π0 e só dados simulados. O trabalho móvel está menos maduro: em três portas reais de puxar, o RB-Y1 abriu a porta em 2 de 9 tentativas. São resultados dos próprios autores; a página do projeto tem gravações das tentativas reais no DROID.

Por que importa

Políticas VLA abertas como o π0.5 no openpi aprendem com mais de 10.000 horas de demonstrações em robôs reais, dados que não são públicos e que ninguém de fora consegue gerar de novo. O MolmoBot troca isso por dados simulados que qualquer pessoa pode baixar ou gerar de novo com o motor publicado, e nos testes dos autores superou o π0.5 no mesmo hardware DROID sem ver uma única demonstração real. Para um laboratório com um Franka no estilo DROID, isso significa uma política para testar sem coletar dados e uma receita completa, da geração de cenas ao treinamento, para adicionar novas tarefas ou robôs. Ele é a contraparte do MolmoAct2, o VLA da Ai2 que raciocina sobre ações: o MolmoAct2 entrega checkpoints de fundação feitos para serem ajustados a cada robô com demonstrações reais, como o DROID, enquanto o MolmoBot aprende só com simulação e foi feito para rodar como está. O porém é o alcance: as tarefas são pick-and-place de objetos rígidos e abertura, e qualquer robô que não seja um Franka DROID ou um RB-Y1 precisa de dados simulados e treinamento próprios.

Problema que resolve

Treinar uma política de manipulação costuma exigir grandes quantidades de demonstrações em robôs reais, que são lentas e caras de coletar e em geral fechadas. O MolmoBot mostra que dados de simulação gerados proceduralmente, randomizados de forma ampla o bastante, podem treinar políticas que funcionam zero-shot em robôs reais, e publica os dados, o gerador e o código de treinamento para que outros reproduzam ou ampliem o resultado.

Pontos principais

  • Políticas de manipulação treinadas só com dados simulados, executadas em robôs reais sem ajuste fino com dados reais
  • O MolmoBot-DROID roda num Franka DROID com uma câmera de punho e uma câmera externa posicionada em qualquer lugar
  • Treinado no MolmoBot-Data: 1,7 milhão de trajetórias especialistas simuladas em mais de 94.000 casas
  • Três tipos de política: um VLA baseado no Molmo2, uma réplica do π0 e um pequeno transformador para dispositivos de borda
  • O código, a maioria dos checkpoints e o motor de geração de dados são abertos; o conjunto de dados é ODC-BY
  • 79,2% de sucesso em pick-and-place real contra 39,2% do π0.5-DROID, nos testes dos autores

Para quem é

  • Laboratórios com um Franka no estilo DROID que querem uma política de pick-and-place sem coletar dados
  • Pesquisadores de aprendizado robótico que estudam transferência sim-to-real e dados sintéticos de treinamento
  • Equipes que constroem pipelines de dados de simulação para novos robôs ou tarefas
  • Donos de um Rainbow Robotics RB-Y1 que trabalham com manipulação móvel

Limitações

  • Os checkpoints publicados rodam só num Franka no estilo DROID (garra Robotiq 2F-85, câmera de punho ZED Mini e câmera externa ZED 2, Polymetis) ou num Rainbow Robotics RB-Y1; outros robôs precisam de novos dados simulados e novo treinamento
  • As tarefas se limitam a pegar objetos rígidos, pick-and-place e abrir objetos articulados; os autores citam inserção, objetos deformáveis e fluidos como fora de alcance por enquanto
  • A manipulação móvel está no início: o RB-Y1 abriu uma porta real de puxar em 2 de 9 tentativas
  • O MolmoBot-Pi0-DROID está sob a licença Gemma, e os três checkpoints do MolmoBot-SPOC indicam só other, sem arquivo de licença, então nem todo checkpoint é Apache-2.0
  • O MolmoBot-Data tem cerca de 10 TB e inclui objetos do Objaverse sob licenças não comerciais; há uma lista de episódios liberados para uso comercial
  • O treinamento exige clusters com várias GPUs: o README informa de 8 a 64 GPUs H100 para o MolmoBot-DROID e 32 para o MolmoBot-Pi0-DROID, e o checkpoint do MolmoBot-DROID tem cerca de 20 GB
  • Todos os resultados são dos próprios autores, em seus robôs e em seus próprios benchmarks de simulação

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.