Rho
Le VLA ouvert de 5B de Microsoft, pré-adapté à trois robots bi-bras courants
Licence
MIT
Aperçu
Rho est une famille de modèles vision-langage-action à poids ouverts pour robots à deux bras, publiée par Microsoft Research en septembre 2026 sous licence MIT. Chaque modèle compte environ 5 milliards de paramètres : un modèle vision-langage de 4,68B de la famille Phi, entraîné en plus à l'ancrage physique, couplé à un expert d'action de 542M par flow matching qui produit environ une seconde de mouvement de l'effecteur à la fois. L'idée est d'adapter en deux temps. Rho-base, pré-entraîné sur plus de 3 200 heures de données de robots surtout bi-bras, est d'abord ré-entraîné (midtraining) sur environ 300 heures d'un robot précis. Les checkpoints publiés l'ont déjà fait pour la I²RT YAM Box, l'UR AI Trainer et le Franka FR3 Duo. L'affinage sur une tâche demande alors moins de démonstrations. Le code affine sur des jeux de données LeRobot, évalue sur LIBERO et RoboEval, et sert une politique via un websocket. Tous les poids et jeux de données sont sur Hugging Face, et la méthode est décrite dans le rapport technique.
La plupart des VLA ouverts sont pré-entraînés largement puis affinés directement sur une tâche, si bien que les démonstrations doivent enseigner à la fois le robot et la tâche. Le principe de Rho est d'apprendre d'abord le robot. Entre le pré-entraînement et l'affinage se place une étape de midtraining par plateforme : deux époques sur environ 280 à 300 heures de données d'un robot, réparties sur des dizaines de familles de tâches. Elle ne vise à maîtriser aucune tâche, seulement à absorber les caméras, la cinématique, l'espace de travail et les conventions de commande de ce robot. Les auteurs publient cette étape déjà faite pour trois plateformes bi-bras répandues, de sorte qu'un laboratoire qui en possède une part d'un modèle qui connaît déjà son matériel.
Les preuves viennent de comparaisons contrôlées plutôt que d'un chiffre phare. Dans le simulateur RoboTwin 2.0, le modèle ré-entraîné a atteint le même succès que Rho-base avec moitié moins de démonstrations d'affinage, l'écart le plus grand se situant au plus petit budget de données. Sur un FR3 Duo physique, les mêmes 150 démonstrations d'insertion de fiche ont donné 60 % de succès avec Rho-base, 76,7 % après une époque de midtraining et 86,7 % avec le checkpoint publié à deux époques. Sur le benchmark BusyBox de la YAM Box, avec environ 2 000 démonstrations, Rho-YAM-Box affiné a atteint 90 % au total, à égalité avec π0.5 et devant GR00T N1.7 et MolmoAct2.
La publication comprend aussi une étape en ligne. Une petite politique latente à l'intérieur du modèle apprend des reprises en main correctives d'un humain, tandis que tout le reste reste figé. Dans le rapport, 15 épisodes corrigés ont fait passer les configurations les plus difficiles d'assemblage de tubes à essai sur le FR3 Duo de 30 % à 70 %. L'interface d'état et d'action est générique : jusqu'à 32 dimensions par pas, masquées si inutilisées. Le même modèle peut donc piloter en espace articulaire ou en effecteur, en deltas ou en cibles absolues, avec un bras ou deux.
Pourquoi c'est important
Le coût d'un VLA n'est pas de le télécharger mais de l'adapter à son robot et à sa tâche, ce qui demande d'ordinaire des centaines de démonstrations par tâche. Rho déplace la part propre au robot de ce coût dans un checkpoint publié pour trois plateformes que de nombreux laboratoires possèdent déjà, sous licence MIT. Le rapport étaie l'affirmation par des comparaisons contrôlées avec π0.5, GR00T N1.7 et MolmoAct2 sur des robots physiques. Il donne aussi aux VLA ouverts une quatrième famille sérieuse, issue d'un grand laboratoire, aux côtés d'OpenPI, GR00T et MolmoAct.
Le problème résolu
Affiner un VLA généraliste sur une nouvelle tâche oblige les démonstrations à enseigner à la fois le robot et la tâche. Rho sépare les deux : le robot est appris une fois, dans un checkpoint ré-entraîné publié pour trois plateformes bi-bras, de sorte que l'affinage commence à partir d'un modèle qui connaît déjà le matériel et demande moins de démonstrations. Une étape en ligne légère continue ensuite d'améliorer une politique déployée à partir de quelques corrections humaines.
Points clés
- VLA à poids ouverts de 5B : un VLM de 4,68B de la famille Phi entraîné à l'ancrage physique, plus un expert d'action de 542M par flow matching
- Rho-base est pré-entraîné sur plus de 3 200 heures de données de robots surtout bi-bras, puis ré-entraîné en variantes pour YAM Box, UR AI Trainer et FR3 Duo
- Dans RoboTwin 2.0, le modèle ré-entraîné égale Rho-base avec moitié moins de démonstrations d'affinage
- Rho-YAM-Box affiné atteint 90 % sur BusyBox, à égalité avec π0.5 et devant GR00T N1.7 et MolmoAct2
- L'adaptation en ligne sur 15 épisodes corrigés fait passer les configurations de tubes à essai les plus difficiles sur FR3 Duo de 30 % à 70 %
- Code, poids et jeux d'affinage sous licence MIT ; affinage sur des jeux LeRobot et service via websocket
Pour qui
- Laboratoires équipés d'une I²RT YAM Box, d'un UR AI Trainer ou d'un Franka FR3 Duo qui veulent une politique de départ pré-adaptée
- Équipes qui comparent des VLA ouverts en manipulation bi-bras et ont besoin d'une base solide sous licence MIT
- Chercheurs qui étudient l'adaptation économe en données, le midtraining et l'apprentissage à partir de corrections humaines
- Utilisateurs de LeRobot qui veulent affiner un VLA de 5B sur leurs propres jeux de données
Limites
- Le mélange de pré-entraînement de 3 200 heures et les données de midtraining par robot ne sont pas publiés ; seuls les checkpoints, le jeu BusyBox et les données d'affinage LIBERO et RoboEval le sont
- Les variantes pré-adaptées n'existent que pour trois plateformes bi-bras ; tout autre robot part de Rho-base et demande son propre midtraining ou plus de données de tâche
- Les comparaisons sont celles des auteurs, sur leurs robots et protocoles ; la page du projet dit elle-même que trois plateformes et quelques benchmarks n'établissent pas une performance générale
- Les politiques de tâche demandent encore environ 100 à 300 démonstrations sur robot physique ; le midtraining réduit ce besoin sans le supprimer
- L'entraînement et l'inférence exigent un GPU CUDA et FlashAttention 2 compilé avec une boîte à outils CUDA ; la voie Docker demande environ 100 Go d'espace de construction
- Publié fin septembre 2026, donc sans recul extérieur pour l'instant