Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Dexmal DM0.5

Le modèle VLA ouvert de Dexmal, avec 60 s de mémoire visuelle, dans LeRobot

Licence

  • code (Dexmal/OpenDM): Apache 2.0
  • LeRobot dm05 policy code: Apache 2.0

Code : Apache-2.0, lu dans le fichier LICENSE de Dexmal/OpenDM. Poids : la licence Gemma sur toutes les fiches de modèle DM0.5 de la collection de Dexmal et sur les copies converties par LeRobot, aucune à accès restreint ; la base est construite sur Gemma 3 de Google. Les conditions Gemma autorisent l'usage commercial, la modification et la redistribution, mais quiconque utilise ou partage les poids doit respecter la politique d'usages interdits de Google et transmettre ces conditions. LeRobot : le code de la politique dm05 dans LeRobot est sous Apache-2.0, et son guide précise que les poids suivent leurs fiches de modèle. Jeux de données : les jeux d'entraînement de Dexmal pour RoboTwin 2.0, RoboDojo-Sim et SO-101 sur Hugging Face ne portent qu'une étiquette Creative Commons générique sans version ni conditions ; renseignez-vous auprès de Dexmal avant réutilisation. Service hébergé : Dexmal MaaS est un service payant distinct, avec ses propres conditions. Image de la carte : une image de la vidéo de démonstration de Dexmal, couverte par aucune des deux licences. Vérifié le 2026-11-12 d'après le fichier LICENSE, les fiches de modèles et de données Hugging Face et le guide LeRobot.

Aperçu

DM0.5 est un modèle vision-langage-action (VLA) ouvert de l'entreprise chinoise de robotique Dexmal, publié le 9 juillet 2026 pour succéder à son modèle DM0 de février 2026. Il prend les images des caméras, l'état articulaire du robot et une instruction en langage naturel, et produit des blocs d'actions continues du robot. Le modèle associe une base vision-langage de 4B construite sur Gemma 3 de Google à un action expert de 680M entraîné par Flow Matching, et il peut revenir sur des images clés des 60 dernières secondes au plus, ce qui lui permet de se souvenir de l'emplacement d'un objet ou de ce qu'une personne a montré plus tôt dans la tâche. Dexmal l'a entraîné sur des données réelles de manipulation de plusieurs types de robots, des données de navigation, des vidéos à la première personne et des données générales vision-langage. Le dépôt OpenDM publie les poids, le code d'entraînement et d'inférence, des recettes de fine-tuning et des guides pour robots réels. Les checkpoints publiés comprennent le modèle de base, une version à mémoire et des modèles affinés pour LIBERO, RoboTwin 2.0, VLA-Arena, RoboDojo-Sim, RoboChallenge Table30 v2 et une tâche de saisie de cube sur le SO-101. Le code est sous Apache-2.0 ; les poids sont sous la licence Gemma. LeRobot a ajouté DM0.5 comme politique dm05 en octobre 2026.

DM0.5 est le modèle de fondation pour robots de Dexmal, publié le 9 juillet 2026 pour succéder à son DM0 de février 2026. Le dépôt OpenDM contient le code ; les poids se trouvent dans une collection Hugging Face et sur ModelScope. Dexmal décrit le modèle dans un blog technique plutôt que dans un article scientifique.

DM0.5 est un VLA : un modèle de langage de vision qui lit les images des caméras et l'instruction, relié à un action expert qui transforme ses caractéristiques en commandes moteur. La base est un modèle de 4B construit sur Gemma 3, et l'action expert compte 680M paramètres. Chaque appel produit un bloc d'actions futures (action chunking) ; par défaut, 10 étapes de Flow Matching génèrent 50 actions, et Dexmal indique environ 10 appels par seconde sur une RTX 4090 et 20 sur une H100.

Dexmal met en avant trois apports par rapport à DM0 :

- Mémoire : en plus de l'image courante, le modèle voit des images clés compressées des 60 dernières secondes au plus, ce qui lui permet de remettre une tasse à sa place ou de suivre une règle montrée par une personne au début. - Raisonnement à l'entraînement : 11 tâches textuelles supplémentaires amènent le modèle à décrire les étapes de la tâche, les événements à venir et ses prochaines actions, et pas seulement à prédire des commandes moteur. - Alignement des trajectoires : les actions prédites sont appariées à la démonstration selon l'avancement plutôt que selon l'horodatage, si bien que des données de téléopération enregistrées à des vitesses différentes enseignent le même mouvement.

Les données d'entraînement mêlent de la manipulation réelle sur AgileX ALOHA, Galaxea R1 Lite, AgiBot G1, Franka Emika Panda, UR5, ARX5 et le robot mobile à deux bras de Dexmal à des données de navigation, des vidéos à la première personne de gens manipulant des objets et des données générales d'images et de vidéos. Dexmal indique que le modèle peut être réentraîné pour des corps de robots qu'il n'a pas vus (multi-incarnation) ; le checkpoint de base utilise un format d'état et d'action à 14 valeurs pour deux bras à 6 articulations avec pinces, et le modèle central accepte jusqu'à 32 valeurs.

Checkpoints publiés :

- DM05, le modèle de base pour le fine-tuning, et DM05-MEM, une version à 32 emplacements d'historique. - Des modèles de benchmark pour LIBERO, VLA-Arena et RoboTwin 2.0, le modèle RoboDojo-Sim pour bras ARX X5 et une collection RoboChallenge Table30 v2 pour quatre types de robots réels. - DM05-SO101-Pick-Cube, un fine-tuning LoRA pour le bras SO-101 avec son propre guide d'entraînement.

Le dépôt fournit un serveur d'inférence avec API HTTP, un guide de fine-tuning pour de nouvelles données de robot en entraînement complet ou LoRA, des recettes de benchmark comme le guide RoboTwin 2.0 et un guide des robots réels utilisés par Dexmal : l'AgileX COBOT Magic et le DOS-W1 de Dexmal, avec la position de leurs caméras. Depuis LeRobot 0.7, DM0.5 est aussi la politique dm05 : le guide LeRobot entraîne à partir de lerobot/dm05_base sur n'importe quel jeu de données LeRobot standard.

Dexmal annonce 99,0 % sur LIBERO contre 96,9 % pour pi0.5, 93,6 % et 93,3 % sur RoboTwin 2.0, et un taux de réussite de 43 % sur le benchmark à robots réels RoboChallenge Table30 v2 contre 14,3 % pour pi0.5. Dexmal affirme aussi que DM0.5 s'est classé premier sur les classements RoboColiseum et RoboDojo-Sim ; ce sont les chiffres et les affirmations de Dexmal. Dexmal propose aussi DM0.5 sous forme de service hébergé payant, Dexmal MaaS.

Pourquoi c'est important

DM0.5 rejoint les modèles VLA ouverts que nous référençons, comme pi0 et pi0.5, NVIDIA Isaac GR00T, LingBot-VLA, WALL-OSS et GalaxeaVLA. Ce que Dexmal met en avant, c'est la mémoire : DM0.5 est entraîné à utiliser jusqu'à une minute de vues passées en plus de l'image courante, ce qui compte pour les tâches où un élément important est sorti du champ. Il fournit aussi des checkpoints affinés pour plusieurs benchmarks et quatre types de robots réels, ainsi qu'un exemple SO-101 que les possesseurs de ce bras bon marché peuvent reproduire. En tant que politique LeRobot, quiconque dispose d'un jeu de données LeRobot peut l'affiner avec les mêmes outils que les autres politiques, et les propres tableaux de Dexmal le placent devant pi0.5 sur LIBERO, RoboTwin 2.0 et RoboChallenge.

Le problème résolu

La plupart des politiques ouvertes pour robots décident à partir de la seule image courante de la caméra : elles perdent le fil dès qu'un objet est caché, déplacé ou rangé, et elles apprennent le rythme de la personne qui a enregistré les démonstrations. Entraîner une politique performante depuis zéro exige en outre de grands jeux de données robotiques dont peu d'équipes disposent. DM0.5 offre aux équipes un modèle ouvert préentraîné qui garde jusqu'à une minute d'historique visuel, a été entraîné sur plusieurs types de robots et s'accompagne de recettes pour l'affiner sur leurs propres données, en entraînement complet ou LoRA.

Points clés

  • Modèle VLA ouvert : une base vision-langage de 4B sur Gemma 3 avec un action expert de 680M entraîné par Flow Matching
  • Utilise des images clés des 60 dernières secondes au plus comme mémoire pour les tâches longues ou en partie cachées
  • Génère des blocs de 50 actions ; Dexmal indique environ 10 Hz sur une RTX 4090 et 20 Hz sur une H100
  • Checkpoints pour LIBERO, RoboTwin 2.0, VLA-Arena, RoboDojo-Sim, RoboChallenge et une tâche SO-101
  • Fonctionne comme politique dm05 dans LeRobot 0.7 et dans le code OpenDM de Dexmal
  • Code sous Apache-2.0 ; poids sous la licence Gemma

Pour qui

  • Chercheurs en apprentissage robotique qui comparent des modèles VLA ouverts, surtout sur des tâches longues ou à mémoire
  • Équipes disposant de montages à deux bras de type ALOHA ou à un bras qui veulent affiner une politique préentraînée sur leurs propres données
  • Utilisateurs de LeRobot, y compris les possesseurs d'un SO-101, qui veulent essayer un VLA plus grand avec les outils d'entraînement habituels
  • Auteurs de benchmarks qui mènent des évaluations sur LIBERO, RoboTwin 2.0 ou RoboChallenge

Limites

  • Les poids sont sous la licence Gemma, pas sous Apache-2.0 : elle autorise l'usage commercial mais transmet la politique d'usages interdits de Google et ses autres conditions à quiconque utilise ou partage le modèle
  • Tous les chiffres de benchmark et les classements viennent de Dexmal ou des classements eux-mêmes ; Dexmal publie un blog technique, pas un article relu par des pairs
  • L'entraînement demande de gros GPU : Dexmal recommande 8 GPU, et un fine-tuning complet peut manquer de mémoire sur une RTX 4090, où LoRA est la voie conseillée
  • Les données d'entraînement elles-mêmes ne sont pas publiées ; le blog en cite les sources mais pas les volumes
  • Le guide des robots réels ne couvre que l'AgileX COBOT Magic et le DOS-W1 de Dexmal, avec les positions de caméra propres à Dexmal
  • Le checkpoint de base attend un format d'état et d'action à deux bras sur 14 valeurs ; d'autres robots demandent un fine-tuning et leurs propres statistiques de normalisation
  • Le backend d'inférence rapide exige TensorRT, Triton et FlexAttention, et son étape de préparation FP8 est pour l'instant limitée à 1024 tokens
  • Dexmal vend une version hébergée du modèle : la publication ouverte coexiste avec un service commercial

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.