Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

DexSuite

Framework de simulación para manipulación diestra: toda tarea con cualquier brazo y mano

Licencia

  • code: MIT
  • datasets (Hugging Face, dexsuite/*): Apache 2.0

Licencias separadas. El código de DexSuite está bajo MIT. Los modelos de robots, manos y objetos de dexsuite/models conservan sus propias licencias, recogidas en THIRD_PARTY_LICENSES.md: en su mayoría Apache-2.0, BSD y MIT procedentes de MuJoCo Menagerie y dex-urdf, con la mano Schunk SVH y el pulverizador azul bajo GPL-3.0, los objetos YCB bajo CC BY 4.0 y la tostada bajo CC BY-SA 4.0. Algunos modelos no están abiertos para todos los usos: los objetos de PartNet-Mobility y la caja fuerte, la ventana, el joyero y los alicates de Artiverse son solo para investigación, y los modelos de mano PSYONIC Ability e Inspire no indican ninguna licencia. Los conjuntos de datos en Hugging Face están bajo Apache-2.0. Comprobado el 4 de noviembre de 2026.

Resumen

DexSuite es un framework de simulación con licencia MIT para manipulación diestra, construido sobre el simulador Genesis por investigadores de McGill University y Mila. Una tarea se escribe una sola vez y se ejecuta con cualquiera de sus 10 brazos y 11 efectores finales, desde pinzas de mordazas paralelas hasta la Shadow Hand de 24 articulaciones, mediante una API de estilo Gymnasium con entornos en lote. Añade teleoperación integrada (teclado, SpaceMouse, HTC Vive y guante Manus), almohadillas táctiles en su pinza UMI, un benchmark de dos vertientes y 4700 episodios de demostración grabados, publicados en formato LeRobot.

DexSuite cubre todo el flujo de trabajo de la manipulación diestra en un solo paquete de Python: configurar un robot, recopilar demostraciones y evaluar políticas. Funciona sobre Genesis, y la mayoría de sus modelos de robots y manos proceden de MuJoCo Menagerie.

ds.make(task, manipulator=…, gripper=…) construye un entorno a partir de cualquier par de brazo y efector final. Los brazos van desde el Franka Panda, Kinova Gen3, KUKA iiwa y UR5e hasta el SO-100, y los efectores finales desde la Robotiq 2F-85 hasta las manos Allegro, LEAP, Inspire, Ability, Shadow y Sharpa; una muñeca flotante permite usar una mano por sí sola. Cada tarea mantiene el mismo reinicio, las mismas observaciones y la misma comprobación de éxito para cada embodiment, de modo que una pinza y una mano pueden compararse en igualdad de condiciones. Los entornos se ejecutan en lote en un único simulador (n_envs=64), devuelven propiocepción, estado de la tarea y cámaras RGB, de profundidad y de segmentación, y aceptan comandos de pose del efector final, posición, velocidad o par de las articulaciones. La pinza UMI lleva una cuadrícula de 12 × 32 taxels táctiles por dedo.

El benchmark tiene dos vertientes: cinco tareas que pueden realizar tanto una pinza como una mano, y tareas diestras como levantar una sartén por el mango, apuntar con un taladro, colocar pan de pie en una tostadora y pulverizar a través de una plantilla. En un total de 31 tareas, con un solo brazo y bimanuales, el equipo grabó 4700 episodios para los 16 pares de tarea y embodiment del benchmark, procedentes de teleoperación humana, expertos programados y generación automática, y los publicó en Hugging Face en formato LeRobot con una exportación HDF5 para robomimic. El repositorio incluye scripts de entrenamiento y evaluación de robomimic, entre ellos una política ACT.

Por qué importa

Las manos diestras son hacia donde se dirige buena parte de la investigación en aprendizaje robótico, pero la mayoría de los frameworks de simulación se centran en pinzas paralelas o atan cada tarea a un solo robot, y pocos conectan teleoperación, grabación de datos y evaluación en un mismo lugar. DexSuite permite a un investigador cambiar una pinza por una mano diestra con un solo argumento y mantener iguales la tarea, las observaciones y la comprobación de éxito, lo que hace sencillas las comparaciones entre pinza y mano y la recopilación de datos entre distintos embodiments. Se distribuye con los datos ya grabados, en el formato LeRobot con el que entrena la comunidad, y con documentación y un paquete de PyPI (GitHub).

Qué problema resuelve

Preparar un experimento de manipulación diestra suele implicar conectar un modelo de mano a un brazo, escribir controladores, construir una vía de teleoperación para un guante o un rastreador, grabar datos en un formato utilizable y, después, crear tareas que solo funcionan con ese robot concreto. DexSuite ofrece esas piezas como un único framework, con tareas definidas independientemente del brazo y la mano, de modo que el mismo experimento se ejecuta en distintos embodiments.

Puntos clave

  • Cualquiera de las 31 tareas se ejecuta con cualquiera de los 10 brazos y 11 efectores finales, desde pinzas paralelas hasta la Shadow Hand de 24 articulaciones
  • Construido sobre Genesis con una API de estilo Gymnasium, entornos en lote y cámaras RGB, de profundidad y de segmentación
  • Teleoperación con teclado, SpaceMouse, HTC Vive o un guante Manus redirigido (retargeting) a la mano montada
  • Benchmark de dos vertientes que compara pinzas y manos en las mismas tareas, además de tareas diestras como un taladro, una sartén y un aerosol
  • 4700 episodios de demostración en formato LeRobot en Hugging Face (Apache-2.0), con scripts de entrenamiento de robomimic

Para quién es

  • Investigadores que trabajan en manipulación diestra y manos multidedo
  • Grupos de aprendizaje robótico que comparan pinzas y manos o recopilan demostraciones entre distintos embodiments
  • Equipos que teleoperan con guantes, rastreadores de RV o SpaceMice y necesitan datos en formato LeRobot
  • Estudiantes que quieren tareas diestras listas para usar sin tener que montar primero un robot

Limitaciones

  • Solo simulación, por lo que las políticas entrenadas aquí siguen enfrentándose a la brecha con el hardware real
  • Requiere una GPU CUDA para un uso práctico, y el primer entorno en una máquina tarda alrededor de un minuto en compilar los kernels de Genesis
  • Publicado a finales de octubre de 2026, con el artículo (arXiv 2610.37799) todavía en revisión
  • No todos los brazos admiten todos los efectores finales; la tabla de compatibilidad enumera los pares
  • Algunos modelos de objetos incluidos (PartNet-Mobility) son exclusivamente para investigación y educación no comerciales, y otros modelos mantienen sus propias licencias

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.