Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Dexmal DM0.5

Dexmals offenes VLA-Robotermodell mit 60 s visuellem Gedächtnis, in LeRobot

Lizenz

  • code (Dexmal/OpenDM): Apache 2.0
  • LeRobot dm05 policy code: Apache 2.0

Code: Apache-2.0, gelesen aus der LICENSE-Datei von Dexmal/OpenDM. Gewichte: die Gemma-Lizenz auf jeder DM0.5-Modellkarte in Dexmals Sammlung und auf den umgewandelten Kopien von LeRobot, keine davon zugangsbeschränkt; das Backbone basiert auf Googles Gemma 3. Die Gemma-Bedingungen erlauben kommerzielle Nutzung, Änderungen und Weitergabe, doch wer die Gewichte nutzt oder weitergibt, muss Googles Richtlinie zu verbotener Nutzung einhalten und diese Bedingungen weitergeben. LeRobot: Der Code der Policy dm05 in LeRobot steht unter Apache-2.0, und seine Anleitung sagt, dass die Gewichte ihren Modellkarten folgen. Datensätze: Dexmals Trainingsdatensätze für RoboTwin 2.0, RoboDojo-Sim und SO-101 auf Hugging Face tragen nur ein allgemeines Creative-Commons-Kennzeichen ohne Version oder Bedingungen; vor einer Weiterverwendung bei Dexmal nachfragen. Gehosteter Dienst: Dexmal MaaS ist ein separater kostenpflichtiger Dienst mit eigenen Bedingungen. Kartenbild: ein Bild aus Dexmals eigenem Demovideo, von keiner der beiden Lizenzen abgedeckt. Geprüft am 2026-11-12 anhand der LICENSE-Datei, der Modell- und Datensatzkarten auf Hugging Face und der LeRobot-Anleitung.

Überblick

DM0.5 ist ein offenes Vision-Language-Action-Modell (VLA) des chinesischen Robotikunternehmens Dexmal, veröffentlicht am 9. Juli 2026 als Nachfolger seines Modells DM0 vom Februar 2026. Es nimmt Kamerabilder, den Gelenkzustand des Roboters und eine Anweisung in natürlicher Sprache auf und gibt Abschnitte kontinuierlicher Roboteraktionen aus. Das Modell verbindet ein 4B-Vision-Language-Backbone auf Basis von Googles Gemma 3 mit einem 680M großen Action Expert, der mit Flow Matching trainiert wird, und kann auf Schlüsselbilder der letzten bis zu 60 Sekunden zurückblicken, um sich etwa zu merken, wo ein Objekt lag oder was ein Mensch früher in der Aufgabe vorgeführt hat. Dexmal hat es mit echten Manipulationsdaten mehrerer Robotertypen, Navigationsdaten, Videos aus der Ich-Perspektive von Menschen und allgemeinen Vision-Language-Daten trainiert. Das Repository OpenDM veröffentlicht die Gewichte, Trainings- und Inferenzcode, Fine-Tuning-Rezepte und Anleitungen für echte Roboter. Zu den Checkpoints gehören das Basismodell, eine Gedächtnisversion sowie feinabgestimmte Modelle für LIBERO, RoboTwin 2.0, VLA-Arena, RoboDojo-Sim, RoboChallenge Table30 v2 und eine SO-101-Aufgabe zum Würfelgreifen. Der Code steht unter Apache-2.0, die Gewichte unter der Gemma-Lizenz. LeRobot hat DM0.5 im Oktober 2026 als Policy dm05 aufgenommen.

DM0.5 ist Dexmals Roboter-Foundation Model, veröffentlicht am 9. Juli 2026 als Nachfolger seines DM0 vom Februar 2026. Das Repository OpenDM enthält den Code; die Gewichte liegen in einer Hugging-Face-Sammlung und auf ModelScope. Dexmal beschreibt das Modell in einem technischen Blog, nicht in einem Paper.

DM0.5 ist ein VLA: ein Vision-Sprachmodell, das Kamerabilder und Anweisung liest, verbunden mit einem Action Expert, der dessen Merkmale in Motorbefehle umsetzt. Das Backbone ist ein 4B-Modell auf Basis von Gemma 3, der Action Expert hat 680M Parameter. Jeder Aufruf erzeugt einen Abschnitt künftiger Aktionen (Action Chunking); standardmäßig erzeugen 10 Flow-Matching-Schritte 50 Aktionen, und Dexmal meldet etwa 10 Aufrufe pro Sekunde auf einer RTX 4090 und 20 auf einer H100.

Dexmal nennt drei Neuerungen gegenüber DM0:

- Gedächtnis: Neben dem aktuellen Bild sieht das Modell komprimierte Schlüsselbilder der letzten bis zu 60 Sekunden, sodass es eine Tasse dorthin zurückstellen kann, wo sie stand, oder einer Regel folgen kann, die ein Mensch zu Beginn gezeigt hat. - Schlussfolgern im Training: 11 zusätzliche Textaufgaben lassen das Modell Aufgabenphasen, kommende Ereignisse und seine nächsten Aktionen beschreiben, statt nur Motorbefehle vorherzusagen. - Trajektorienabgleich: Vorhergesagte Aktionen werden der Demonstration nach Fortschritt statt nach Zeitstempel zugeordnet, sodass Teleoperation-Daten, die unterschiedlich schnell aufgezeichnet wurden, dieselbe Bewegung lehren.

Die Trainingsdaten mischen echte Manipulation von AgileX ALOHA, Galaxea R1 Lite, AgiBot G1, Franka Emika Panda, UR5, ARX5 und Dexmals eigenem zweiarmigen mobilen Roboter mit Navigationsdaten, Videos aus der Ich-Perspektive von Menschen, die mit Gegenständen hantieren, sowie allgemeinen Bild- und Videodaten. Laut Dexmal lässt sich das Modell für Roboterkörper nachtrainieren, die es noch nicht gesehen hat (verkörperungsübergreifend); der Basis-Checkpoint nutzt ein Zustands- und Aktionsformat mit 14 Werten für zwei Arme mit je 6 Gelenken und Greifern, das Kernmodell verarbeitet bis zu 32 Werte.

Veröffentlichte Checkpoints:

- DM05, das Basismodell für das Fine-Tuning, und DM05-MEM, eine Version mit 32 Verlaufsplätzen. - Benchmark-Modelle für LIBERO, VLA-Arena und RoboTwin 2.0, das Modell für RoboDojo-Sim mit ARX-X5-Armen und eine Sammlung für RoboChallenge Table30 v2 für vier echte Robotertypen. - DM05-SO101-Pick-Cube, ein LoRA-Fine-Tune für den Arm SO-101 mit eigener Trainingsanleitung.

Das Repository bietet einen Inferenzserver mit HTTP-API, eine Fine-Tuning-Anleitung für eigene Roboterdaten mit vollem Training oder LoRA, Benchmark-Rezepte wie die Anleitung für RoboTwin 2.0 und eine Anleitung zu den echten Robotern, die Dexmal verwendet hat: den AgileX COBOT Magic und Dexmals eigenen DOS-W1, mit ihren Kamerapositionen. Seit LeRobot 0.7 ist DM0.5 auch die Policy dm05: Die LeRobot-Anleitung trainiert ab lerobot/dm05_base auf jedem Standard-LeRobot-Datensatz.

Dexmal meldet 99,0 % auf LIBERO gegenüber 96,9 % für pi0.5, 93,6 % und 93,3 % auf RoboTwin 2.0 und eine Erfolgsquote von 43 % auf dem Echtroboter-Benchmark RoboChallenge Table30 v2 gegenüber 14,3 % für pi0.5. Dexmal gibt außerdem an, DM0.5 habe die Bestenlisten von RoboColiseum und RoboDojo-Sim angeführt; dies sind Zahlen und Angaben von Dexmal. Dexmal bietet DM0.5 zudem als kostenpflichtigen gehosteten Dienst an, Dexmal MaaS.

Warum es wichtig ist

DM0.5 ergänzt die offenen VLA-Modelle, die wir führen, etwa pi0 und pi0.5, NVIDIA Isaac GR00T, LingBot-VLA, WALL-OSS und GalaxeaVLA. Dexmal stellt das Gedächtnis in den Vordergrund: DM0.5 ist darauf trainiert, neben dem aktuellen Bild bis zu eine Minute vergangener Ansichten zu nutzen, was bei Aufgaben zählt, in denen etwas Wichtiges aus dem Blick geraten ist. Es liefert außerdem feinabgestimmte Checkpoints für mehrere Benchmarks und vier echte Robotertypen sowie ein SO-101-Beispiel, das Besitzer dieses günstigen Arms nachvollziehen können. Als Policy in LeRobot kann jeder mit einem LeRobot-Datensatz es mit denselben Werkzeugen wie andere Policies feinabstimmen, und Dexmals eigene Benchmark-Tabellen sehen es auf LIBERO, RoboTwin 2.0 und RoboChallenge vor pi0.5.

Welches Problem es löst

Die meisten offenen Roboter-Policies entscheiden allein anhand des aktuellen Kamerabilds, verlieren also den Überblick, sobald ein Objekt verdeckt, verschoben oder weggeräumt ist, und sie lernen den Rhythmus derjenigen, die die Demonstrationen aufgezeichnet haben. Eine leistungsfähige Policy von Grund auf zu trainieren erfordert zudem große Roboterdatensätze, die nur wenige Teams haben. DM0.5 bietet Teams ein offenes vortrainiertes Modell, das bis zu eine Minute visuellen Verlauf behält, auf mehreren Robotertypen trainiert wurde und mit Rezepten kommt, um es mit vollem Training oder LoRA auf eigenen Roboterdaten feinabzustimmen.

Wichtigste Punkte

  • Offenes VLA-Modell: ein 4B-Vision-Language-Backbone auf Basis von Gemma 3 mit einem 680M großen Action Expert mit Flow Matching
  • Nutzt Schlüsselbilder der letzten bis zu 60 Sekunden als Gedächtnis für lange oder teilweise verdeckte Aufgaben
  • Erzeugt Abschnitte von 50 Aktionen; Dexmal meldet etwa 10 Hz auf einer RTX 4090 und 20 Hz auf einer H100
  • Checkpoints für LIBERO, RoboTwin 2.0, VLA-Arena, RoboDojo-Sim, RoboChallenge und eine SO-101-Aufgabe
  • Läuft als Policy dm05 in LeRobot 0.7 und in Dexmals eigenem OpenDM-Code
  • Code unter Apache-2.0; Gewichte unter der Gemma-Lizenz

Für wen

  • Forschende im Roboterlernen, die offene VLA-Modelle vergleichen, besonders bei langen oder gedächtnisabhängigen Aufgaben
  • Teams mit zweiarmigen Aufbauten im ALOHA-Stil oder einarmigen Aufbauten, die eine vortrainierte Policy auf eigenen Daten feinabstimmen wollen
  • LeRobot-Nutzer, auch Besitzer eines SO-101, die ein größeres VLA mit den gewohnten Trainingswerkzeugen ausprobieren wollen
  • Benchmark-Autoren, die Auswertungen mit LIBERO, RoboTwin 2.0 oder RoboChallenge durchführen

Einschränkungen

  • Die Gewichte stehen unter der Gemma-Lizenz, nicht unter Apache-2.0: Sie erlaubt kommerzielle Nutzung, gibt aber Googles Richtlinie zu verbotener Nutzung und seine übrigen Bedingungen an alle weiter, die das Modell nutzen oder weitergeben
  • Alle Benchmark-Zahlen und Ranglistenplätze stammen von Dexmal oder den Bestenlisten selbst; Dexmal veröffentlicht einen technischen Blog, kein begutachtetes Paper
  • Training braucht große GPUs: Dexmal empfiehlt 8 GPUs, und vollständiges Fine-Tuning kann auf einer RTX 4090 an Speichermangel scheitern, wofür LoRA der vorgeschlagene Weg ist
  • Die Trainingsdaten selbst sind nicht veröffentlicht; der Blog nennt ihre Quellen, aber nicht ihren Umfang
  • Die Anleitung für echte Roboter deckt nur den AgileX COBOT Magic und Dexmals DOS-W1 ab, mit Dexmals eigenen Kamerapositionen
  • Der Basis-Checkpoint erwartet ein zweiarmiges Zustands- und Aktionsformat mit 14 Werten; andere Roboter brauchen Fine-Tuning und eigene Normalisierungsstatistiken
  • Das schnelle Inferenz-Backend benötigt TensorRT, Triton und FlexAttention, und sein FP8-Vorbereitungsschritt ist derzeit auf 1.024 Tokens begrenzt
  • Dexmal verkauft eine gehostete Version des Modells, die offene Veröffentlichung steht also neben einem kommerziellen Dienst

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.