Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Dexmal DM0.5

El modelo VLA abierto de Dexmal, con 60 s de memoria visual, en LeRobot

Licencia

  • code (Dexmal/OpenDM): Apache 2.0
  • LeRobot dm05 policy code: Apache 2.0

Código: Apache-2.0, leído en el archivo LICENSE de Dexmal/OpenDM. Pesos: la licencia Gemma en todas las fichas de modelo de DM0.5 de la colección de Dexmal y en las copias convertidas de LeRobot, ninguna con acceso restringido; la base está construida sobre Gemma 3 de Google. Las condiciones de Gemma permiten el uso comercial, los cambios y la redistribución, pero quien use o comparta los pesos debe respetar la política de usos prohibidos de Google y transmitir estas condiciones. LeRobot: el código de la política dm05 en LeRobot es Apache-2.0, y su guía dice que los pesos siguen sus fichas de modelo. Conjuntos de datos: los conjuntos de entrenamiento de Dexmal para RoboTwin 2.0, RoboDojo-Sim y SO-101 en Hugging Face solo llevan una etiqueta genérica de Creative Commons sin versión ni condiciones; consulta a Dexmal antes de reutilizarlos. Servicio alojado: Dexmal MaaS es un servicio de pago aparte con sus propias condiciones. Imagen de la tarjeta: un fotograma del propio vídeo de demostración de Dexmal, no cubierto por ninguna de las dos licencias. Comprobado el 2026-11-12 con el archivo LICENSE, las fichas de modelos y datos de Hugging Face y la guía de LeRobot.

Resumen

DM0.5 es un modelo abierto de visión-lenguaje-acción (VLA) de la empresa china de robótica Dexmal, publicado el 9 de julio de 2026 como sucesor de su modelo DM0 de febrero de 2026. Recibe imágenes de cámara, el estado articular del robot y una instrucción en lenguaje natural, y devuelve bloques de acciones continuas del robot. El modelo combina una base de visión y lenguaje de 4B construida sobre Gemma 3 de Google con un action expert de 680M entrenado con Flow Matching, y puede mirar atrás a fotogramas clave de hasta los últimos 60 segundos, de modo que recuerda dónde estaba un objeto o lo que una persona mostró antes en la tarea. Dexmal lo entrenó con datos reales de manipulación de varios tipos de robot, datos de navegación, vídeo en primera persona de personas y datos generales de visión y lenguaje. El repositorio OpenDM publica los pesos, el código de entrenamiento e inferencia, recetas de ajuste fino y guías para robots reales. Los checkpoints publicados incluyen el modelo base, una versión con memoria y modelos ajustados para LIBERO, RoboTwin 2.0, VLA-Arena, RoboDojo-Sim, RoboChallenge Table30 v2 y una tarea de coger un cubo con el SO-101. El código es Apache-2.0; los pesos están bajo la licencia Gemma. LeRobot añadió DM0.5 como la política dm05 en octubre de 2026.

DM0.5 es el modelo fundacional para robots de Dexmal, publicado el 9 de julio de 2026 como sucesor de su DM0 de febrero de 2026. El repositorio OpenDM contiene el código; los pesos están en una colección de Hugging Face y en ModelScope. Dexmal describe el modelo en un blog técnico, no en un artículo científico.

DM0.5 es un VLA: un modelo de lenguaje de visión que lee las imágenes de cámara y la instrucción, unido a un action expert que convierte sus rasgos en órdenes para los motores. La base es un modelo de 4B construido sobre Gemma 3, y el action expert tiene 680M parámetros. Cada llamada produce un bloque de acciones futuras (action chunking); por defecto, 10 pasos de Flow Matching generan 50 acciones, y Dexmal informa de unas 10 llamadas por segundo en una RTX 4090 y 20 en una H100.

Dexmal destaca tres novedades respecto a DM0:

- Memoria: además del fotograma actual, el modelo ve fotogramas clave comprimidos de hasta los últimos 60 segundos, así que puede devolver una taza a su sitio o seguir una regla que una persona mostró al principio. - Razonamiento durante el entrenamiento: 11 tareas de texto adicionales hacen que el modelo describa las fases de la tarea, los próximos eventos y sus siguientes acciones, no solo que prediga órdenes de motor. - Alineación de trayectorias: las acciones predichas se emparejan con la demostración según el avance y no según la marca de tiempo, de modo que los datos de teleoperación grabados a distintas velocidades enseñan el mismo movimiento.

Los datos de entrenamiento mezclan manipulación real de AgileX ALOHA, Galaxea R1 Lite, AgiBot G1, Franka Emika Panda, UR5, ARX5 y el robot móvil de dos brazos propio de Dexmal con datos de navegación, vídeo en primera persona de personas manejando objetos y datos generales de imagen y vídeo. Dexmal dice que el modelo puede reentrenarse para cuerpos de robot que no ha visto (multiembodiment); el checkpoint base usa un formato de estado y acción de 14 valores para dos brazos de 6 articulaciones con pinzas, y el modelo central admite hasta 32 valores.

Checkpoints publicados:

- DM05, el modelo base para ajuste fino, y DM05-MEM, una versión con 32 posiciones de historial. - Modelos de benchmark para LIBERO, VLA-Arena y RoboTwin 2.0, el modelo de RoboDojo-Sim para brazos ARX X5 y una colección para RoboChallenge Table30 v2 para cuatro tipos de robot reales. - DM05-SO101-Pick-Cube, un ajuste fino con LoRA para el brazo SO-101 con su propia guía de entrenamiento.

El repositorio incluye un servidor de inferencia con API HTTP, una guía de ajuste fino para datos de robot nuevos con entrenamiento completo o LoRA, recetas de benchmark como la guía de RoboTwin 2.0 y una guía de los robots reales que usó Dexmal: el AgileX COBOT Magic y el DOS-W1 propio de Dexmal, con la posición de sus cámaras. Desde LeRobot 0.7, DM0.5 es también la política dm05: la guía de LeRobot entrena a partir de lerobot/dm05_base con cualquier conjunto de datos estándar de LeRobot.

Dexmal informa de un 99,0 % en LIBERO frente al 96,9 % de pi0.5, de un 93,6 % y un 93,3 % en RoboTwin 2.0 y de una tasa de éxito del 43 % en el benchmark con robots reales RoboChallenge Table30 v2 frente al 14,3 % de pi0.5. Dexmal afirma también que DM0.5 quedó primero en las clasificaciones de RoboColiseum y RoboDojo-Sim; son cifras y afirmaciones de Dexmal. Dexmal ofrece además DM0.5 como servicio alojado de pago, Dexmal MaaS.

Por qué importa

DM0.5 se suma a los modelos VLA abiertos que listamos, como pi0 y pi0.5, NVIDIA Isaac GR00T, LingBot-VLA, WALL-OSS y GalaxeaVLA. Lo que Dexmal pone en primer lugar es la memoria: DM0.5 está entrenado para usar hasta un minuto de vistas pasadas además del fotograma actual, algo que importa en tareas en las que algo importante ha quedado fuera de la vista. También trae checkpoints ajustados para varios benchmarks y cuatro tipos de robot reales, además de un ejemplo con el SO-101 que pueden reproducir los dueños de ese brazo de bajo coste. Como política de LeRobot, cualquiera con un conjunto de datos de LeRobot puede ajustarlo con las mismas herramientas que otras políticas, y las propias tablas de Dexmal lo sitúan por delante de pi0.5 en LIBERO, RoboTwin 2.0 y RoboChallenge.

Qué problema resuelve

La mayoría de las políticas abiertas para robots deciden solo a partir del fotograma actual de la cámara, así que pierden el hilo cuando un objeto queda oculto, se mueve o se guarda, y aprenden el ritmo de quien grabó las demostraciones. Entrenar una política capaz desde cero exige además grandes conjuntos de datos de robot que pocos equipos tienen. DM0.5 ofrece a los equipos un modelo abierto preentrenado que conserva hasta un minuto de historial visual, se entrenó con varios tipos de robot y trae recetas para ajustarlo con sus propios datos, con entrenamiento completo o LoRA.

Puntos clave

  • Modelo VLA abierto: una base de visión y lenguaje de 4B sobre Gemma 3 con un action expert de 680M entrenado con Flow Matching
  • Usa fotogramas clave de hasta los últimos 60 segundos como memoria para tareas largas o en parte ocultas
  • Genera bloques de 50 acciones; Dexmal informa de unos 10 Hz en una RTX 4090 y 20 Hz en una H100
  • Checkpoints para LIBERO, RoboTwin 2.0, VLA-Arena, RoboDojo-Sim, RoboChallenge y una tarea con el SO-101
  • Funciona como la política dm05 en LeRobot 0.7 y en el código OpenDM de Dexmal
  • Código bajo Apache-2.0; pesos bajo la licencia Gemma

Para quién es

  • Investigadores de aprendizaje robótico que comparan modelos VLA abiertos, sobre todo en tareas largas o que exigen memoria
  • Equipos con montajes de dos brazos al estilo ALOHA o de un brazo que quieren ajustar una política preentrenada con sus propios datos
  • Usuarios de LeRobot, incluidos dueños de un SO-101, que quieren probar un VLA más grande con las herramientas de entrenamiento de siempre
  • Autores de benchmarks que ejecutan evaluaciones en LIBERO, RoboTwin 2.0 o RoboChallenge

Limitaciones

  • Los pesos están bajo la licencia Gemma, no bajo Apache-2.0: permite el uso comercial, pero traslada la política de usos prohibidos de Google y sus demás condiciones a quien use o comparta el modelo
  • Todas las cifras de benchmark y los puestos en clasificaciones proceden de Dexmal o de las propias clasificaciones; Dexmal publica un blog técnico, no un artículo revisado por pares
  • El entrenamiento requiere GPU grandes: Dexmal recomienda 8 GPU, y el ajuste fino completo puede quedarse sin memoria en una RTX 4090, donde se sugiere LoRA
  • Los datos de entrenamiento no se publican; el blog enumera sus fuentes pero no su volumen
  • La guía de robots reales solo cubre el AgileX COBOT Magic y el DOS-W1 de Dexmal, con la posición de cámaras propia de Dexmal
  • El checkpoint base espera un formato de estado y acción de dos brazos con 14 valores; otros robots necesitan ajuste fino y sus propias estadísticas de normalización
  • El backend de inferencia rápida necesita TensorRT, Triton y FlexAttention, y su paso de preparación FP8 tiene por ahora un límite de 1.024 tokens
  • Dexmal vende una versión alojada del modelo, así que la publicación abierta convive con un servicio comercial

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.