MolmoAct2: Action Reasoning Models for Real-World Deployment

Autores: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

Por qué importa

La mayoría de las políticas robóticas capaces son cerradas, y las abiertas suelen publicar los pesos sin los datos ni la receta que hay detrás, o dan por hecho robots caros. MolmoAct2 publica las tres cosas: pesos del modelo, código de entrenamiento y la mezcla completa de entrenamiento, incluidas unas 720 horas de nuevos datos de teleoperación bimanual en brazos YAM cuyo montaje completo los autores sitúan por debajo de 6.000 dólares estadounidenses. El artículo es la referencia de cómo se construyó esa publicación y de lo bien que funciona, y CoRL 2026 lo eligió como spotlight. Para un lector de este catálogo, lo práctico es que dos de sus checkpoints ajustados funcionan sin más entrenamiento en hardware que muchos laboratorios y aficionados ya tienen: un brazo Franka al estilo DROID y el brazo SO-100 o SO-101. El artículo también muestra ideas que otros desarrolladores de modelos pueden reutilizar: un tokenizador de acciones al estilo de FAST entrenado de forma abierta, una cadena de filtrado que convierte 1.222 conjuntos de datos de LeRobot aportados por la comunidad en datos de entrenamiento útiles, y un experto de acciones condicionado en cada capa por las claves y los valores del backbone, que superó al condicionamiento por estados ocultos en la ablación de los autores. El propio modelo, con sus checkpoints y guías de despliegue, tiene su propia página en nuestro catálogo; esta página trata del método y los resultados del artículo.

Problema

Los modelos de visión-lenguaje-acción prometen un solo controlador para muchos robots, pero el artículo señala cuatro obstáculos para el despliegue real. Los modelos más potentes son cerrados, y los pocos de pesos abiertos se guardan sus datos y su receta de entrenamiento, de modo que nadie puede reproducirlos ni ampliarlos. Los modelos abiertos que funcionan tal cual están atados a robots caros o especializados. Las políticas que razonan antes de actuar, por ejemplo prediciendo profundidad, imágenes objetivo o trayectorias, gastan cientos de tokens por paso y se vuelven demasiado lentas para el control en lazo cerrado. Y aun después del ajuste fino, el éxito en tareas realistas queda por debajo de lo que exige un uso fiable. Los datos robóticos públicos no lo resuelven por sí solos: Open X-Embodiment tiene una calidad desigual, buena parte de DROID es tiempo muerto o repetitivo, los datos de SO-100 subidos por la comunidad llevan etiquetas de relleno como lerobot_test, y ningún conjunto abierto ofrecía datos bimanuales de alta calidad en la plataforma en la que los autores querían desplegar.

Solución propuesta

Primero, los autores ajustan su modelo de visión-lenguaje Molmo2 para obtener Molmo2-ER con un corpus de unos 3,3 M de ejemplos de razonamiento corporizado (señalar puntos, preguntas espaciales y sobre vídeo, correspondencia entre varias vistas). Recogen un conjunto de datos YAM bimanual de 34.500 demostraciones en más de 28 tareas y filtran los datos SO-100/101 de la comunidad y DROID por estructura, licencia y calidad, reetiquetando las instrucciones con un VLM abierto. El entrenamiento se hace luego en tres etapas. El preentrenamiento enseña al backbone a emitir tokens de acción discretos de MolmoAct2-FAST Tokenizer, una reimplementación abierta de FAST con un vocabulario de 2.048 tokens entrenada con un millón de secuencias de acciones de cinco embodiments. El postentrenamiento añade un experto de acciones al estilo DiT con las mismas 36 capas que el backbone; cada capa del experto aplica atención cruzada a las claves y los valores de la capa correspondiente del backbone y se entrena con flow matching, mientras el backbone conserva su pérdida de tokens. El ajuste fino adapta después el modelo a un robot y produce checkpoints para YAM bimanual, Franka de DROID, SO-100/101 y LIBERO. MolmoAct2-Think añade una cuadrícula de 10 por 10 tokens de profundidad antes de actuar y solo vuelve a predecir las celdas cuyos fragmentos de imagen cambiaron desde el último paso. El almacenamiento en caché y CUDA Graphs aceleran la inferencia.

Ideas clave

• Un backbone entrenado para el razonamiento corporizado ayuda directamente a aprender acciones: cambiar Molmo2 por Molmo2-ER eleva el éxito en LIBERO-Long del 77,6 % al 83,6 % con la misma configuración de acciones discretas
• El experto de acciones funciona mejor cuando cada una de sus capas lee las claves y los valores de la capa correspondiente del backbone: 95,9 % en LIBERO frente a 94,0 % al condicionar con estados ocultos
• Razonar no tiene por qué costar una predicción completa en cada paso: MolmoAct2-Think solo vuelve a predecir los tokens de profundidad de las celdas de imagen que cambiaron y conserva el anclaje geométrico con una fracción de la latencia
• Con datos de la comunidad, la curación importa tanto como la escala: comprobaciones de estructura, de licencia y un filtro de calidad convierten 1.222 conjuntos de datos SO-100/101 aportados por la comunidad en datos de entrenamiento, y reetiquetar con un VLM abierto duplica el número de instrucciones únicas
• La vía continua es la rápida: decodificar el mismo bloque de acciones como tokens discretos va a 14,17 Hz frente a 55,79 Hz del experto de flow matching, por lo que el experto es la opción por defecto para el despliegue

Resultados principales

• Sin ajuste adicional en un Franka DROID real, con cámaras colocadas al azar y objetos y escenas no vistos, MolmoAct2-DROID promedia un 87,1 % en cinco tareas de pick-and-place (15 intentos cada una), frente al 48,4 % de MolmoBot y el 45,2 % de π0.5-DROID
• Sin ajuste adicional en un brazo SO-100 real, MolmoAct2-SO100/101 obtiene un 56,7 % en cinco tareas con puntuación parcial, frente al 45,3 % de un π0 que los autores ajustaron con los mismos datos y el 2,3 % de SmolVLA
• En simulación sin ajuste fino, MolmoAct2-DROID promedia un 37,7 % en MolmoSpaces frente al 34,5 % de π0.5-DROID, y un 20,6 % en MolmoBot frente al 10,0 %
• Tras el ajuste fino alcanza un 97,2 % en LIBERO (98,1 % para MolmoAct2-Think), frente al 96,9 % de π0.5 y el 86,6 % del anterior MolmoAct, y un 44,3 % en el benchmark bimanual RoboEval frente al 40,5 % de π0.5
• Ajustado en 8 tareas YAM bimanuales reales con 50 intentos cada una, promedia un 50,1 % y gana 7 de las 8, 15 puntos por encima del segundo, OpenVLA-OFT
• Molmo2-ER promedia un 63,8 % en 13 benchmarks de razonamiento corporizado, por delante de Gemini Robotics-ER 1.5 Thinking (61,3 %) y GPT-5 (57,9 %), y 17 puntos por encima del Molmo2 del que parte
• En una H100, la caché y CUDA Graphs elevan la frecuencia de control de 23,02 Hz a 55,79 Hz para MolmoAct2 y de 8,04 Hz a 12,71 Hz para MolmoAct2-Think

Limitaciones

• La licencia es clara para el código y menos para los pesos: el archivo LICENSE del repositorio es Apache-2.0 y el README dice que el modelo tiene licencia Apache 2.0 y está pensado para investigación y educación según las Responsible Use Guidelines de Ai2, pero las fichas de Hugging Face de los checkpoints de MolmoAct2 no indican licencia (solo la de Molmo2-ER lo hace). Las fichas de los conjuntos de datos robóticos indican Apache-2.0, mientras que algunos conjuntos de entrenamiento de Molmo2-ER realojados conservan los términos de su origen, entre ellos VST-P con la licencia no comercial CC BY-NC 4.0
• La política ejecuta bloques de acciones fijos en lazo abierto: nada garantiza un movimiento suave entre bloques, no puede reaccionar a contactos o perturbaciones dentro de un bloque, y los autores señalan que la cifra de 55,79 Hz es el rendimiento amortizado por bloque, no la reactividad en lazo cerrado
• El uso sin ajuste se limita a las tres plataformas para las que se entrenó (YAM bimanual, SO-100/101 y Franka de DROID); otros robots, manos, manipuladores móviles o humanoides necesitan ajuste fino con sus propias demostraciones, y el README dice que el rendimiento tal cual solo se ha verificado en SO-100 y Franka DROID, para tareas sencillas dentro de la distribución de entrenamiento
• Los resultados son de los propios autores: las pruebas reales sin ajuste usan 15 intentos por tarea, las puntuaciones de SO-100 dan crédito parcial, dos benchmarks de simulación (MolmoSpaces y MolmoBot) y la línea base MolmoBot proceden de Ai2, la línea base π0 de SO-100 la ajustaron los autores, y la tabla de robustez etiqueta su fila como MolmoAct2-Think mientras el texto atribuye el resultado a MolmoAct2
• El entrenamiento queda muy lejos de una sola GPU de laboratorio: solo el preentrenamiento usó unas 5.760 horas de GPU H100 y el postentrenamiento unas 2.304, cada checkpoint ocupa unos 22 GB, y el README advierte que la inferencia en bfloat16 necesita parches en el código del modelo

Impacto en el campo

MolmoAct2 es uno de los pocos modelos de visión-lenguaje-acción cuyos pesos, código y datos de entrenamiento completos son públicos, de modo que otros grupos pueden reentrenar, auditar o ampliar cada etapa en lugar de solo ajustar un checkpoint publicado. Lleva la línea base abierta a hardware asequible: los autores presentan resultados sin ajuste adicional en un brazo SO-100 y un Franka de DROID en escenas no vistas, y resultados tras el ajuste fino en un montaje YAM bimanual fuera del laboratorio. Dos resultados de diseño probablemente irán más allá de este modelo: condicionar el experto de acciones con las claves y los valores de cada capa del backbone, y hacer adaptativos los tokens de razonamiento para que su coste dependa de cuánto cambia la escena. Los datos YAM bimanuales publicados, descritos por los autores como el mayor conjunto bimanual abierto hasta la fecha, y los subconjuntos filtrados de SO-100/101 y DROID son recursos por derecho propio. Muchas comparaciones usan benchmarks y líneas base de los propios autores, así que la replicación independiente dirá hasta dónde se mantienen las diferencias.

Resumen

Los modelos de visión-lenguaje-acción (VLA) aspiran a ofrecer un único controlador generalista para robots, pero los sistemas actuales se quedan cortos para el despliegue en el mundo real. Los modelos punteros son cerrados; las alternativas de pesos abiertos están ligadas a hardware caro; las políticas con razonamiento pagan una latencia prohibitiva por su anclaje; y las tasas de éxito tras el ajuste fino siguen por debajo del umbral necesario para un uso fiable. Presentamos MolmoAct2, un modelo de razonamiento de acciones totalmente abierto pensado para el despliegue práctico, que hace avanzar a su predecesor, MolmoAct, en cinco ejes. (1) MolmoAct2 se basa en nuestro nuevo Molmo2-ER, un backbone VLM especializado en razonamiento espacial y corporizado, entrenado con un corpus de 3,3 M de muestras mediante una receta de especializar y luego repasar. (2) Publicamos tres nuevos conjuntos de datos robóticos que abarcan plataformas de coste bajo a medio: MolmoAct2-BimanualYAM Dataset, 720 horas de trayectorias bimanuales teleoperadas que constituyen el mayor conjunto de datos bimanual abierto hasta la fecha; MolmoAct2-DROID Dataset, un subconjunto Franka de DROID filtrado por calidad; y MolmoAct2-SO100/101 Dataset, un subconjunto SO-100/101 filtrado por calidad. (3) Entrenamos y publicamos MolmoAct2-FAST Tokenizer, un tokenizador de acciones de pesos y datos abiertos entrenado con millones de trayectorias de cinco embodiments. (4) Diseñamos una nueva arquitectura VLA que injerta el VLM de tokens discretos en el experto de acciones continuas por flow matching mediante un condicionamiento clave-valor (KV) por capa. (5) Proponemos MolmoAct2-Think, una variante de razonamiento con profundidad adaptativa que vuelve a predecir los tokens de profundidad solo para las regiones de la escena que cambian entre pasos de tiempo, conservando el anclaje geométrico con una fracción de la latencia anterior. En el estudio empírico más amplio hasta la fecha de cualquier VLA abierto, con 7 benchmarks en simulación y en el mundo real, MolmoAct2 supera a líneas base sólidas, incluido π0.5, mientras que Molmo2-ER supera a GPT-5 y a Gemini Robotics ER-1.5 en 13 benchmarks de razonamiento corporizado. Publicamos los pesos del modelo, el código de entrenamiento y los datos de entrenamiento completos.

Enlaces

• arXiv 2605.02881: https://arxiv.org/abs/2605.02881
• PDF: https://arxiv.org/pdf/2605.02881
• Código: https://github.com/allenai/molmoact2
• Página del proyecto: https://allenai.org/blog/molmoact2