MolmoAct2: Action Reasoning Models for Real-World Deployment

Autores: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

Por que importa

A maioria das políticas robóticas capazes é fechada, e as abertas costumam publicar os pesos sem os dados e a receita por trás, ou pressupõem robôs caros. O MolmoAct2 publica as três coisas: pesos do modelo, código de treinamento e a mistura completa de treinamento, incluindo cerca de 720 horas de novos dados de teleoperação bimanual em braços YAM, cuja montagem completa os autores estimam em menos de 6.000 dólares americanos. O artigo é a referência sobre como esse lançamento foi construído e como ele funciona, e a CoRL 2026 o escolheu como spotlight. Para quem lê este catálogo, o lado prático é que dois dos seus checkpoints ajustados rodam sem treino adicional em hardware que muitos laboratórios e entusiastas já têm: um braço Franka no estilo DROID e o braço SO-100 ou SO-101. O artigo também mostra ideias que outros desenvolvedores de modelos podem reaproveitar: um tokenizador de ações no estilo FAST treinado de forma aberta, um pipeline de filtragem que transforma 1.222 conjuntos de dados do LeRobot enviados pela comunidade em dados de treinamento úteis, e um especialista de ações condicionado em cada camada pelas chaves e pelos valores do backbone, que superou o condicionamento por estados ocultos na ablação dos autores. O modelo em si, com seus checkpoints e guias de implantação, tem página própria no nosso catálogo; esta página trata do método e dos resultados do artigo.

Problema

Os modelos de visão-linguagem-ação prometem um só controlador para muitos robôs, mas o artigo aponta quatro obstáculos ao uso real. Os modelos mais fortes são fechados, e os poucos de pesos abertos guardam seus dados e sua receita de treinamento, de modo que ninguém consegue reproduzi-los ou ampliá-los. Os modelos abertos que funcionam prontos para uso estão presos a robôs caros ou especializados. As políticas que raciocinam antes de agir, por exemplo prevendo profundidade, imagens de objetivo ou trajetórias, gastam centenas de tokens por passo e ficam lentas demais para o controle em malha fechada. E mesmo após o ajuste fino, o sucesso em tarefas realistas fica abaixo do que um uso confiável exige. Os dados robóticos públicos não resolvem isso sozinhos: o Open X-Embodiment tem qualidade irregular, boa parte do DROID é tempo parado ou repetitivo, os envios de SO-100 da comunidade trazem rótulos provisórios como lerobot_test, e nenhum conjunto aberto oferecia dados bimanuais de alta qualidade na plataforma em que os autores queriam implantar.

Solução proposta

Primeiro, os autores ajustam seu modelo de visão-linguagem Molmo2 para chegar ao Molmo2-ER com um corpus de cerca de 3,3 M de exemplos de raciocínio incorporado (apontar, perguntas espaciais e sobre vídeo, correspondência entre várias vistas). Eles coletam um conjunto de dados YAM bimanual de 34.500 demonstrações em mais de 28 tarefas e filtram os envios SO-100/101 da comunidade e o DROID por estrutura, licença e qualidade, rerrotulando as instruções com um VLM aberto. O treinamento ocorre então em três etapas. O pré-treinamento ensina o backbone a emitir tokens de ação discretos do MolmoAct2-FAST Tokenizer, uma reimplementação aberta do FAST com vocabulário de 2.048 tokens, treinada em um milhão de sequências de ações de cinco embodiments. O pós-treinamento acrescenta um especialista de ações no estilo DiT com as mesmas 36 camadas do backbone; cada camada do especialista aplica atenção cruzada às chaves e aos valores da camada correspondente do backbone e é treinada com flow matching, enquanto o backbone mantém sua perda de tokens. O ajuste fino então adapta o modelo a um robô e gera checkpoints para YAM bimanual, Franka do DROID, SO-100/101 e LIBERO. O MolmoAct2-Think acrescenta uma grade de 10 por 10 tokens de profundidade antes de agir e só prevê de novo as células cujos trechos de imagem mudaram desde o último passo. Cache e CUDA Graphs aceleram a inferência.

Principais ideias

Um backbone treinado para raciocínio incorporado ajuda diretamente a aprender ações: trocar o Molmo2 pelo Molmo2-ER eleva o sucesso no LIBERO-Long de 77,6% para 83,6% com a mesma configuração de ações discretas
O especialista de ações funciona melhor quando cada uma de suas camadas lê as chaves e os valores da camada correspondente do backbone: 95,9% no LIBERO contra 94,0% com condicionamento por estados ocultos
Raciocinar não precisa custar uma previsão completa a cada passo: o MolmoAct2-Think só prevê de novo os tokens de profundidade das células de imagem que mudaram e mantém o ancoramento geométrico com uma fração da latência
Com dados da comunidade, a curadoria pesa tanto quanto a escala: verificações de estrutura, de licença e um filtro de qualidade transformam 1.222 conjuntos de dados SO-100/101 enviados pela comunidade em dados de treinamento, e rerrotular com um VLM aberto dobra o número de instruções únicas
O caminho contínuo é o rápido: decodificar o mesmo bloco de ações como tokens discretos roda a 14,17 Hz contra 55,79 Hz do especialista de flow matching, por isso o especialista é o padrão para implantação

Principais resultados

Sem treino adicional em um Franka DROID real, com câmeras posicionadas ao acaso e objetos e cenas inéditos, o MolmoAct2-DROID tem média de 87,1% em cinco tarefas de pick-and-place (15 tentativas cada), contra 48,4% do MolmoBot e 45,2% do π0.5-DROID
Sem treino adicional em um braço SO-100 real, o MolmoAct2-SO100/101 marca 56,7% em cinco tarefas com crédito parcial, contra 45,3% de um π0 que os autores ajustaram nos mesmos dados e 2,3% do SmolVLA
Em simulação sem ajuste fino, o MolmoAct2-DROID tem média de 37,7% no MolmoSpaces contra 34,5% do π0.5-DROID, e de 20,6% no MolmoBot contra 10,0%
Após o ajuste fino, chega a 97,2% no LIBERO (98,1% com o MolmoAct2-Think), contra 96,9% do π0.5 e 86,6% do MolmoAct anterior, e a 44,3% no benchmark bimanual RoboEval contra 40,5% do π0.5
Ajustado em 8 tarefas YAM bimanuais reais com 50 tentativas cada, tem média de 50,1% e vence 7 das 8, 15 pontos acima do segundo colocado, o OpenVLA-OFT
O Molmo2-ER tem média de 63,8% em 13 benchmarks de raciocínio incorporado, à frente do Gemini Robotics-ER 1.5 Thinking (61,3%) e do GPT-5 (57,9%), e 17 pontos acima do Molmo2 do qual parte
Em uma H100, cache e CUDA Graphs elevam a taxa de controle de 23,02 Hz para 55,79 Hz no MolmoAct2 e de 8,04 Hz para 12,71 Hz no MolmoAct2-Think

Limitações

A licença é clara para o código e menos para os pesos: o arquivo LICENSE do repositório é Apache-2.0, e o README diz que o modelo está sob Apache 2.0 e se destina a pesquisa e educação conforme as Responsible Use Guidelines da Ai2, mas os cartões no Hugging Face dos checkpoints do MolmoAct2 não indicam licença (só o do Molmo2-ER indica). Os cartões dos conjuntos de dados robóticos indicam Apache-2.0, enquanto alguns conjuntos de treinamento do Molmo2-ER rehospedados mantêm os termos da sua origem, entre eles o VST-P sob a licença não comercial CC BY-NC 4.0
A política executa blocos de ações fixos em malha aberta: nada garante movimento suave entre blocos, ela não reage a contato ou perturbação dentro de um bloco, e os autores observam que os 55,79 Hz são a vazão amortizada por bloco, não a reatividade em malha fechada
O uso sem treino adicional se limita às três plataformas para as quais foi treinado (YAM bimanual, SO-100/101 e Franka do DROID); outros robôs, mãos, manipuladores móveis ou humanoides precisam de ajuste fino com suas próprias demonstrações, e o README diz que o desempenho pronto para uso só foi verificado no SO-100 e no Franka DROID, para tarefas simples dentro da distribuição de treinamento
Os resultados são dos próprios autores: os testes reais sem ajuste usam 15 tentativas por tarefa, as notas do SO-100 dão crédito parcial, dois benchmarks de simulação (MolmoSpaces e MolmoBot) e a linha de base MolmoBot vêm da Ai2, a linha de base π0 para SO-100 foi ajustada pelos autores, e a tabela de robustez rotula sua linha como MolmoAct2-Think enquanto o texto atribui o resultado ao MolmoAct2
O treinamento vai muito além de uma única GPU de laboratório: só o pré-treinamento usou cerca de 5.760 horas de GPU H100 e o pós-treinamento cerca de 2.304, cada checkpoint tem cerca de 22 GB, e o README avisa que a inferência em bfloat16 exige patches no código do modelo

Impacto na área

O MolmoAct2 é um dos poucos modelos de visão-linguagem-ação cujos pesos, código e dados de treinamento completos são todos públicos, de modo que outros grupos podem retreinar, auditar ou ampliar cada etapa em vez de apenas ajustar um checkpoint publicado. Ele leva a linha de base aberta para hardware acessível: os autores relatam resultados sem treino adicional em um braço SO-100 e em um Franka do DROID em cenas novas, e resultados após ajuste fino em uma montagem YAM bimanual fora do laboratório. Dois resultados de projeto devem ir além deste modelo: condicionar o especialista de ações pelas chaves e pelos valores de cada camada do backbone, e tornar adaptativos os tokens de raciocínio, para que seu custo acompanhe o quanto a cena muda. Os dados YAM bimanuais publicados, descritos pelos autores como o maior conjunto bimanual aberto até hoje, e os subconjuntos filtrados de SO-100/101 e DROID são recursos por si só. Muitas comparações usam benchmarks e linhas de base dos próprios autores, então a replicação independente vai dizer até onde as margens se sustentam.

Resumo

Os modelos de visão-linguagem-ação (VLA) pretendem oferecer um único controlador generalista para robôs, mas os sistemas atuais ficam aquém do que o uso no mundo real exige. Os modelos de ponta são fechados; as alternativas de pesos abertos dependem de hardware caro; as políticas com raciocínio pagam uma latência proibitiva pelo seu ancoramento; e as taxas de sucesso após o ajuste fino continuam abaixo do limiar para um uso confiável. Apresentamos o MolmoAct2, um modelo de raciocínio de ações totalmente aberto, feito para uso prático, que avança em relação ao seu antecessor, o MolmoAct, em cinco eixos. (1) O MolmoAct2 é construído sobre o nosso novo Molmo2-ER, um backbone VLM especializado em raciocínio espacial e incorporado, treinado em um corpus de 3,3 M de amostras com uma receita de especializar e depois revisar. (2) Publicamos três novos conjuntos de dados robóticos que cobrem plataformas de custo baixo a médio: MolmoAct2-BimanualYAM Dataset, 720 horas de trajetórias bimanuais teleoperadas que formam o maior conjunto de dados bimanual aberto até hoje; MolmoAct2-DROID Dataset, um subconjunto Franka do DROID filtrado por qualidade; e MolmoAct2-SO100/101 Dataset, um subconjunto SO-100/101 filtrado por qualidade. (3) Treinamos e publicamos o MolmoAct2-FAST Tokenizer, um tokenizador de ações com pesos e dados abertos, treinado em milhões de trajetórias de cinco embodiments. (4) Projetamos uma nova arquitetura VLA que enxerta o VLM de tokens discretos no especialista de ações contínuas por flow matching por meio de um condicionamento chave-valor (KV) por camada. (5) Propomos o MolmoAct2-Think, uma variante de raciocínio com profundidade adaptativa que prevê de novo os tokens de profundidade apenas nas regiões da cena que mudam entre passos de tempo, mantendo o ancoramento geométrico com uma fração da latência anterior. No estudo empírico mais amplo até hoje de qualquer VLA aberto, com 7 benchmarks em simulação e no mundo real, o MolmoAct2 supera linhas de base fortes, incluindo o π0.5, enquanto o Molmo2-ER supera o GPT-5 e o Gemini Robotics ER-1.5 em 13 benchmarks de raciocínio incorporado. Publicamos os pesos do modelo, o código de treinamento e os dados de treinamento completos.

Open Source Robotics