MolmoAct2: Action Reasoning Models for Real-World Deployment

Auteurs: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

Pourquoi c'est important

La plupart des politiques robotiques performantes sont fermées, et les ouvertes publient en général les poids sans les données ni la recette, ou supposent des robots coûteux. MolmoAct2 publie les trois : poids du modèle, code d'entraînement et mélange d'entraînement complet, dont environ 720 heures de nouvelles données de téléopération bimanuelle sur des bras YAM dont les auteurs estiment le montage complet à moins de 6 000 dollars américains. L'article est la référence sur la construction de cette publication et sur ses performances, et CoRL 2026 l'a retenu comme spotlight. Pour un lecteur de ce catalogue, l'aspect pratique est que deux de ses checkpoints affinés fonctionnent sans entraînement supplémentaire sur du matériel que beaucoup de laboratoires et d'amateurs possèdent déjà : un bras Franka de type DROID et le bras SO-100 ou SO-101. L'article montre aussi des idées que d'autres concepteurs de modèles peuvent reprendre : un tokeniseur d'actions de type FAST entraîné de manière ouverte, une chaîne de filtrage qui transforme 1 222 jeux de données LeRobot partagés par la communauté en données d'entraînement utilisables, et un expert d'actions conditionné à chaque couche par les clés et les valeurs du backbone, qui a fait mieux qu'un conditionnement par états cachés dans l'ablation des auteurs. Le modèle lui-même, avec ses checkpoints et ses guides de déploiement, a sa propre page dans notre catalogue ; cette page porte sur la méthode et les résultats de l'article.

Problème

Les modèles vision-langage-action promettent un seul contrôleur pour de nombreux robots, mais l'article relève quatre obstacles au déploiement réel. Les modèles les plus forts sont fermés, et les rares modèles à poids ouverts gardent pour eux leurs données et leur recette d'entraînement, si bien que personne ne peut les reproduire ni les étendre. Les modèles ouverts qui fonctionnent tels quels sont liés à des robots coûteux ou spécialisés. Les politiques qui raisonnent avant d'agir, par exemple en prédisant la profondeur, des images cibles ou des trajectoires, dépensent des centaines de tokens par pas et deviennent trop lentes pour le contrôle en boucle fermée. Et même après fine-tuning, la réussite sur des tâches réalistes reste en dessous de ce qu'exige un usage fiable. Les données robotiques publiques ne règlent pas cela à elles seules : Open X-Embodiment est de qualité inégale, une grande partie de DROID est faite de temps morts ou de répétitions, les données SO-100 partagées par la communauté portent des libellés provisoires comme lerobot_test, et aucun jeu de données ouvert n'offrait de données bimanuelles de qualité sur la plateforme où les auteurs voulaient déployer.

Solution proposée

Les auteurs affinent d'abord leur modèle vision-langage Molmo2 en Molmo2-ER sur un corpus d'environ 3,3 M d'exemples de raisonnement incarné (pointage, questions spatiales et vidéo, correspondance entre plusieurs vues). Ils collectent un jeu de données YAM bimanuel de 34 500 démonstrations sur plus de 28 tâches, et filtrent les données SO-100/101 de la communauté ainsi que DROID selon la structure, la licence et la qualité, en réannotant les instructions avec un VLM ouvert. L'entraînement se déroule ensuite en trois étapes. Le pré-entraînement apprend au backbone à produire des tokens d'action discrets issus de MolmoAct2-FAST Tokenizer, une réimplémentation ouverte de FAST avec un vocabulaire de 2 048 tokens, entraînée sur un million de séquences d'actions issues de cinq embodiments. Le post-entraînement ajoute un expert d'actions de type DiT avec les mêmes 36 couches que le backbone ; chaque couche de l'expert applique une attention croisée aux clés et aux valeurs de la couche correspondante du backbone et est entraînée par flow matching, tandis que le backbone conserve sa perte sur les tokens. Le fine-tuning adapte ensuite le modèle à un robot et produit des checkpoints pour YAM bimanuel, Franka de DROID, SO-100/101 et LIBERO. MolmoAct2-Think ajoute une grille de 10 sur 10 tokens de profondeur avant d'agir et ne prédit à nouveau que les cellules dont les zones d'image ont changé depuis le pas précédent. La mise en cache et CUDA Graphs accélèrent l'inférence.

Idées clés

• Un backbone entraîné au raisonnement incarné aide directement l'apprentissage des actions : remplacer Molmo2 par Molmo2-ER fait passer la réussite sur LIBERO-Long de 77,6 % à 83,6 % avec le même dispositif d'actions discrètes
• L'expert d'actions fonctionne mieux quand chacune de ses couches lit les clés et les valeurs de la couche correspondante du backbone : 95,9 % sur LIBERO contre 94,0 % avec un conditionnement par états cachés
• Raisonner n'oblige pas à tout prédire à nouveau à chaque pas : MolmoAct2-Think ne prédit de nouveau les tokens de profondeur que pour les cellules d'image qui ont changé, et garde l'ancrage géométrique pour une fraction de la latence
• Avec des données communautaires, le tri compte autant que le volume : des contrôles de structure, des contrôles de licence et un filtre de qualité transforment 1 222 jeux de données SO-100/101 partagés par la communauté en données d'entraînement, et la réannotation par un VLM ouvert double le nombre d'instructions uniques
• La voie continue est la plus rapide : décoder le même bloc d'actions en tokens discrets tourne à 14,17 Hz contre 55,79 Hz pour l'expert par flow matching, qui est donc l'option par défaut pour le déploiement

Principaux résultats

• Sans entraînement supplémentaire sur un vrai Franka DROID, avec des caméras placées au hasard et des objets et scènes inédits, MolmoAct2-DROID atteint en moyenne 87,1 % sur cinq tâches de pick-and-place (15 essais chacune), contre 48,4 % pour MolmoBot et 45,2 % pour π0.5-DROID
• Sans entraînement supplémentaire sur un vrai bras SO-100, MolmoAct2-SO100/101 obtient 56,7 % sur cinq tâches avec crédit partiel, contre 45,3 % pour un π0 que les auteurs ont affiné sur les mêmes données et 2,3 % pour SmolVLA
• En simulation sans fine-tuning, MolmoAct2-DROID atteint en moyenne 37,7 % sur MolmoSpaces contre 34,5 % pour π0.5-DROID, et 20,6 % sur MolmoBot contre 10,0 %
• Après fine-tuning, il atteint 97,2 % sur LIBERO (98,1 % pour MolmoAct2-Think), contre 96,9 % pour π0.5 et 86,6 % pour l'ancien MolmoAct, et 44,3 % sur le benchmark bimanuel RoboEval contre 40,5 % pour π0.5
• Affiné sur 8 tâches YAM bimanuelles réelles avec 50 essais chacune, il atteint en moyenne 50,1 % et en remporte 7 sur 8, 15 points devant le deuxième, OpenVLA-OFT
• Molmo2-ER atteint en moyenne 63,8 % sur 13 benchmarks de raisonnement incarné, devant Gemini Robotics-ER 1.5 Thinking (61,3 %) et GPT-5 (57,9 %), et 17 points au-dessus du Molmo2 dont il part
• Sur une H100, la mise en cache et CUDA Graphs portent la fréquence de commande de 23,02 Hz à 55,79 Hz pour MolmoAct2 et de 8,04 Hz à 12,71 Hz pour MolmoAct2-Think

Limites

• La licence est claire pour le code, moins pour les poids : le fichier LICENSE du dépôt est Apache-2.0, et le README indique que le modèle est sous licence Apache 2.0 et destiné à la recherche et à l'enseignement selon les Responsible Use Guidelines d'Ai2, mais les fiches Hugging Face des checkpoints MolmoAct2 n'indiquent aucune licence (seule celle de Molmo2-ER le fait). Les fiches des jeux de données robotiques indiquent Apache-2.0, tandis que certains jeux d'entraînement de Molmo2-ER rehébergés gardent les conditions de leur source, dont VST-P sous la licence non commerciale CC BY-NC 4.0
• La politique exécute des blocs d'actions fixes en boucle ouverte : rien n'assure un mouvement fluide entre deux blocs, elle ne peut pas réagir à un contact ou à une perturbation au sein d'un bloc, et les auteurs précisent que le chiffre de 55,79 Hz est un débit amorti par bloc, pas une réactivité en boucle fermée
• L'usage sans entraînement supplémentaire se limite aux trois plateformes pour lesquelles il a été entraîné (YAM bimanuel, SO-100/101 et Franka de DROID) ; d'autres robots, mains, manipulateurs mobiles ou humanoïdes demandent un fine-tuning sur leurs propres démonstrations, et le README indique que les performances telles quelles n'ont été vérifiées que sur SO-100 et Franka DROID, pour des tâches simples dans la distribution d'entraînement
• Les résultats sont ceux des auteurs : les tests réels sans fine-tuning utilisent 15 essais par tâche, les scores SO-100 accordent un crédit partiel, deux benchmarks de simulation (MolmoSpaces et MolmoBot) ainsi que la référence MolmoBot viennent d'Ai2, la référence π0 pour SO-100 a été affinée par les auteurs, et le tableau de robustesse intitule sa ligne MolmoAct2-Think alors que le texte attribue le résultat à MolmoAct2
• L'entraînement dépasse de loin un seul GPU de laboratoire : le pré-entraînement seul a demandé environ 5 760 heures de GPU H100 et le post-entraînement environ 2 304, chaque checkpoint pèse environ 22 Go, et le README signale que l'inférence en bfloat16 nécessite des correctifs dans le code du modèle

Impact sur le domaine

MolmoAct2 est l'un des rares modèles vision-langage-action dont les poids, le code et les données d'entraînement complètes sont tous publics, si bien que d'autres équipes peuvent réentraîner, auditer ou étendre chaque étape au lieu de seulement affiner un checkpoint publié. Il amène la référence ouverte sur du matériel abordable : les auteurs rapportent des résultats sans entraînement supplémentaire sur un bras SO-100 et un Franka de DROID dans des scènes inédites, et des résultats après fine-tuning sur un montage YAM bimanuel hors du laboratoire. Deux résultats de conception devraient dépasser ce modèle : conditionner l'expert d'actions par les clés et les valeurs de chaque couche du backbone, et rendre les tokens de raisonnement adaptatifs pour que leur coût suive l'ampleur des changements dans la scène. Les données YAM bimanuelles publiées, présentées par les auteurs comme le plus grand jeu de données bimanuel ouvert à ce jour, et les sous-ensembles filtrés SO-100/101 et DROID sont des ressources à part entière. Beaucoup de comparaisons utilisent les benchmarks et les références des auteurs eux-mêmes ; une réplication indépendante dira jusqu'où les écarts tiennent.

Résumé

Les modèles vision-langage-action (VLA) visent à fournir un contrôleur généraliste unique pour les robots, mais les systèmes actuels restent insuffisants pour un déploiement réel. Les modèles de pointe sont fermés ; les alternatives à poids ouverts sont liées à du matériel coûteux ; les politiques dotées de raisonnement paient une latence prohibitive pour leur ancrage ; et les taux de réussite après fine-tuning restent sous le seuil d'un usage fiable. Nous présentons MolmoAct2, un modèle de raisonnement sur l'action entièrement ouvert conçu pour un déploiement pratique, qui fait progresser son prédécesseur, MolmoAct, selon cinq axes. (1) MolmoAct2 repose sur notre nouveau Molmo2-ER, un backbone VLM spécialisé dans le raisonnement spatial et incarné, entraîné sur un corpus de 3,3 M d'exemples avec une recette « spécialiser puis réviser ». (2) Nous publions trois nouveaux jeux de données robotiques couvrant des plateformes de coût faible à moyen : MolmoAct2-BimanualYAM Dataset, 720 heures de trajectoires bimanuelles téléopérées, soit le plus grand jeu de données bimanuel ouvert à ce jour ; MolmoAct2-DROID Dataset, un sous-ensemble Franka de DROID filtré sur la qualité ; et MolmoAct2-SO100/101 Dataset, un sous-ensemble SO-100/101 filtré sur la qualité. (3) Nous entraînons et publions MolmoAct2-FAST Tokenizer, un tokeniseur d'actions à poids et données ouverts, entraîné sur des millions de trajectoires issues de cinq embodiments. (4) Nous concevons une nouvelle architecture VLA qui greffe le VLM à tokens discrets sur l'expert d'actions continues par flow matching via un conditionnement clé-valeur (KV) couche par couche. (5) Nous proposons MolmoAct2-Think, une variante de raisonnement à profondeur adaptative qui ne prédit à nouveau les tokens de profondeur que pour les régions de la scène qui changent entre deux pas de temps, conservant l'ancrage géométrique pour une fraction de la latence antérieure. Dans l'étude empirique la plus vaste à ce jour pour un VLA ouvert, couvrant 7 benchmarks en simulation et dans le monde réel, MolmoAct2 surpasse de solides références, dont π0.5, tandis que Molmo2-ER dépasse GPT-5 et Gemini Robotics ER-1.5 sur 13 benchmarks de raisonnement incarné. Nous publions les poids du modèle, le code d'entraînement et l'intégralité des données d'entraînement.

Liens

• arXiv 2605.02881: https://arxiv.org/abs/2605.02881
• PDF: https://arxiv.org/pdf/2605.02881
• Code: https://github.com/allenai/molmoact2
• Page du projet: https://allenai.org/blog/molmoact2