Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

MolmoBot

Politiques de manipulation Ai2 entraînées en simulation seule, zero-shot sur Franka DROID

Licence

  • code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
  • MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
  • MolmoBot-Data: ODC Attribution 1.0

Licences séparées. Code : Apache-2.0, selon LICENSE, le même texte dans chacun des paquets MolmoBot, MolmoBot-Pi0 et MolmoBot-SPOC. Checkpoints MolmoBot, dont MolmoBot-DROID et les politiques du RB-Y1 : Apache-2.0, selon leurs fiches Hugging Face ; ils sont affinés à partir de Molmo2-4B, lui aussi Apache-2.0, dont la fiche précise qu'il a été entraîné sur des jeux de données tiers limités à la recherche académique et non commerciale. MolmoBot-Pi0-DROID : la licence Gemma, car il repose sur PaliGemma. Checkpoints MolmoBot-SPOC : licence indiquée seulement comme other, et le fichier de licence vers lequel pointent leurs fiches n'existe pas. MolmoBot-Data : ODC-BY 1.0 ; certaines scènes utilisent des objets Objaverse sous licences non commerciales, et une liste d'épisodes utilisables commercialement est fournie. Ai2 demande que les modèles et les données soient utilisés selon ses Responsible Use Guidelines. Vérifié le 2026-11-08 sur LICENSE et les fiches Hugging Face.

Aperçu

MolmoBot est une famille de politiques de manipulation robotique de l'Allen Institute for AI (Ai2), entraînées uniquement sur des données simulées et exécutées sur de vrais robots sans aucune donnée réelle ni fine-tuning. Son checkpoint principal, MolmoBot-DROID, pilote un bras Franka en configuration DROID à partir d'une caméra au poignet, d'une caméra externe et d'une instruction textuelle comme put the red mug in the black bowl. Les données d'entraînement, MolmoBot-Data, comptent 1,7 million de trajectoires expertes générées dans MuJoCo dans plus de 94 000 maisons générées de façon procédurale, avec une forte randomisation des objets, de l'éclairage et de la position des caméras. Ai2 publie trois types de politique, neuf checkpoints pour le Franka et le manipulateur mobile Rainbow Robotics RB-Y1, le code d'entraînement et d'évaluation, le jeu de données et le moteur de génération de données. L'article est présenté à CoRL 2026.

MolmoBot est un ensemble de politiques de manipulation d'Ai2, avec l'University of Washington, l'UCLA, la TU Darmstadt et Princeton, conçu pour tester une thèse : une politique entraînée uniquement en simulation peut fonctionner sur un vrai robot sans données réelles ni fine-tuning, une forme stricte de transfert sim-to-real. Son checkpoint principal, MolmoBot-DROID, commande un bras Franka monté comme dans DROID, avec une pince Robotiq 2F-85, une caméra de poignet ZED Mini et une caméra ZED 2 qui peut se placer n'importe où autour de la table. À partir d'une instruction textuelle comme "put the red mug in the black bowl", il produit des positions articulaires absolues pour le bras et la pince.

Les données viennent de MolmoBot-Engine, un générateur procédural qui fait désormais partie du dépôt MolmoSpaces. Il place des objets d'iTHOR et d'Objaverse dans des maisons MolmoSpaces préconstruites, les rend dans MuJoCo et fait choisir des prises à des experts scriptés, qui planifient chaque phase du mouvement (planification de mouvement) et recommencent quand une prise glisse. L'éclairage, les textures, le frottement, les masses, la pose de départ du robot et la position de chaque caméra sont randomisés (randomisation de domaine). Le résultat, MolmoBot-Data, contient 1,7 million de trajectoires et 5 704 heures d'expérience robotique dans plus de 94 000 environnements, 11 000 objets et 9 000 réceptacles, pour 8 types de tâche sur deux robots : le Franka FR3 pour le pick-and-place sur table et le manipulateur mobile Rainbow Robotics RB-Y1 pour saisir des objets et ouvrir tiroirs, placards et portes. Sa génération a demandé environ 6 500 heures-GPU.

Trois types de politique y sont entraînés par apprentissage par imitation. MolmoBot lui-même repose sur le modèle vision-langage Molmo2-4B, avec une tête d'action de type diffusion transformer qui lit chaque couche du modèle de langage et prédit par flow matching des segments de 16 pas de positions articulaires ; il peut prendre jusqu'à 3 images récentes par caméra. MolmoBot-Pi0 reprend l'architecture de π0 via le code d'openpi et part de PaliGemma, pour se comparer directement aux modèles de Physical Intelligence. MolmoBot-SPOC est une petite politique Transformer pensée pour les appareils edge et pour un futur apprentissage par renforcement en simulation. Neuf checkpoints sont sur Hugging Face, pour le Franka DROID et pour l'ouverture de portes et le travail multitâche sur le RB-Y1.

Sur un robot DROID, la politique tourne comme serveur sur un PC avec GPU, tandis que le robot et la pince tournent sous Polymetis ; un guide d'installation couvre les caméras, la configuration et le script client. Un notebook de démonstration construit une scène simulée, charge un checkpoint et déroule un épisode sans matériel, et les commandes d'entraînement qui reproduisent MolmoBot-DROID à partir des données publiques sont dans le dépôt.

Dans l'article, chaque politique a été lancée 120 fois sur de vrais robots DROID : 4 pièces avec 10 tâches de pick-and-place chacune et 3 essais par tâche, sur 3 robots dans 2 institutions. MolmoBot a réussi 79,2 % des essais, contre 39,2 % pour π0.5-DROID, entraîné sur des démonstrations réelles, et MolmoBot-Pi0 a atteint 46,7 % avec l'architecture de π0 et uniquement des données simulées. Le travail mobile est moins avancé : sur trois vraies portes à tirer, le RB-Y1 a ouvert la porte dans 2 essais sur 9. Ce sont les résultats des auteurs eux-mêmes ; la page du projet contient les enregistrements des essais réels sur DROID.

Pourquoi c'est important

Les politiques VLA ouvertes comme π0.5 dans openpi apprennent à partir de plus de 10 000 heures de démonstrations sur robots réels, des données qui ne sont pas publiques et que personne d'extérieur ne peut régénérer. MolmoBot les remplace par des données simulées que chacun peut télécharger ou régénérer avec le moteur publié, et dans les tests des auteurs il a battu π0.5 sur le même matériel DROID sans voir une seule démonstration réelle. Pour un laboratoire équipé d'un Franka de type DROID, cela signifie une politique à essayer sans collecter de données, et une recette complète, de la génération de scènes à l'entraînement, pour ajouter de nouvelles tâches ou de nouveaux robots. C'est le pendant de MolmoAct2, le VLA d'Ai2 qui raisonne sur les actions : MolmoAct2 fournit des checkpoints de fondation destinés à être affinés pour chaque robot sur des démonstrations réelles, comme DROID, tandis que MolmoBot apprend uniquement en simulation et doit fonctionner tel quel. La limite est sa portée : les tâches sont du pick-and-place d'objets rigides et de l'ouverture, et tout robot autre qu'un Franka DROID ou un RB-Y1 demande ses propres données simulées et son propre entraînement.

Le problème résolu

Entraîner une politique de manipulation demande en général de grandes quantités de démonstrations sur robots réels, lentes et coûteuses à collecter et le plus souvent fermées. MolmoBot montre que des données de simulation générées de façon procédurale, randomisées assez largement, peuvent entraîner des politiques qui fonctionnent zero-shot sur de vrais robots, et publie les données, le générateur et le code d'entraînement pour que d'autres reproduisent ou prolongent le résultat.

Points clés

  • Politiques de manipulation entraînées uniquement sur données simulées, exécutées sur de vrais robots sans fine-tuning sur données réelles
  • MolmoBot-DROID tourne sur un Franka DROID avec une caméra de poignet et une caméra externe placée n'importe où
  • Entraîné sur MolmoBot-Data : 1,7 million de trajectoires expertes simulées dans plus de 94 000 maisons
  • Trois types de politique : un VLA basé sur Molmo2, une réplique de π0 et un petit Transformer pour appareils edge
  • Le code, la plupart des checkpoints et le moteur de génération de données sont ouverts ; le jeu de données est sous ODC-BY
  • 79,2 % de réussite en pick-and-place réel contre 39,2 % pour π0.5-DROID, dans les tests des auteurs

Pour qui

  • Laboratoires équipés d'un Franka de type DROID qui veulent une politique de pick-and-place sans collecter de données
  • Chercheurs en apprentissage robotique qui étudient le transfert sim-to-real et les données d'entraînement synthétiques
  • Équipes qui construisent des chaînes de données de simulation pour de nouveaux robots ou de nouvelles tâches
  • Propriétaires d'un Rainbow Robotics RB-Y1 qui travaillent sur la manipulation mobile

Limites

  • Les checkpoints publiés ne tournent que sur un Franka de type DROID (pince Robotiq 2F-85, caméra de poignet ZED Mini et caméra externe ZED 2, Polymetis) ou sur un Rainbow Robotics RB-Y1 ; les autres robots demandent de nouvelles données simulées et un nouvel entraînement
  • Les tâches se limitent à saisir des objets rigides, au pick-and-place et à l'ouverture d'objets articulés ; les auteurs citent l'insertion, les objets déformables et les fluides comme hors de portée pour l'instant
  • La manipulation mobile en est à ses débuts : le RB-Y1 a ouvert une vraie porte à tirer dans 2 essais sur 9
  • MolmoBot-Pi0-DROID est sous licence Gemma, et les trois checkpoints MolmoBot-SPOC indiquent seulement other sans fichier de licence, donc tous les checkpoints ne sont pas sous Apache-2.0
  • MolmoBot-Data pèse environ 10 To et contient des objets Objaverse sous licences non commerciales ; une liste d'épisodes utilisables commercialement est fournie
  • L'entraînement demande des clusters multi-GPU : le README indique de 8 à 64 GPU H100 pour MolmoBot-DROID et 32 pour MolmoBot-Pi0-DROID, et le checkpoint de MolmoBot-DROID pèse environ 20 Go
  • Tous les résultats sont ceux des auteurs eux-mêmes, sur leurs robots et leurs propres benchmarks de simulation

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.