DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

Autores: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un exoesqueleto portátil específico para cada mano más el inpainting de la mano robótica convierten las demostraciones con la mano humana en datos de entrenamiento para la mano robótica, con un 86 % de éxito medio en cuatro tareas reales con dos manos.

Por qué importa

Las demostraciones se graban sin que haya un robot presente, el operador siente el contacto real y el exoesqueleto solo permite los movimientos que la mano objetivo puede reproducir. En la tarea de recogida de té, esto permitió recoger demostraciones exitosas 3,2 veces más rápido que la teleoperación, y el mismo enfoque funcionó con una mano subactuada (Inspire) y una mano totalmente actuada (XHand).

Problema

Transferir habilidades de las manos humanas a las robóticas es difícil porque ambas difieren en estructura cinemática, forma de las superficies de contacto, información táctil disponible y aspecto visual, y porque las manos robóticas comerciales difieren mucho en grados de libertad, rangos de los motores y actuación. La teleoperación, la interfaz habitual, sufre un desajuste espacial de las observaciones y no da realimentación háptica directa, mientras que el retargeting de las yemas de los dedos tiene problemas con las diferencias morfológicas, como la flexibilidad del pulgar.

Solución propuesta

DexUMI añade una capa de hardware y una capa de software. La capa de hardware es un exoesqueleto impreso en 3D diseñado para cada mano objetivo mediante una optimización de dos niveles que ajusta su espacio de trabajo de las yemas al de la mano robótica sin que deje de ser portátil; registra los ángulos articulares con encoders resistivos, la pose de la muñeca con un iPhone que ejecuta ARKit, imágenes de una cámara gran angular de 150° bajo la muñeca y el tacto con los mismos sensores táctiles que la mano robótica. La capa de software elimina la mano y el exoesqueleto del vídeo con SAM2, rellena el fondo con ProPainter y compone imágenes de la mano robótica real reproduciendo las mismas acciones articulares, conservando las oclusiones; con el resultado se entrena una política de difusión con un codificador de imagen DINOv2.

Ideas clave

Ajustar el espacio de trabajo de las yemas de los dedos del exoesqueleto al de la mano robótica, y no al de la mano humana, hace que las acciones articulares grabadas sean directamente ejecutables; la optimización desplaza la articulación de giro del pulgar hacia la muñeca para que no choque con el pulgar humano.
Las acciones relativas de los dedos superan a las absolutas en todas las tareas de la Tabla 1; los autores lo atribuyen a una distribución de acciones más simple y unimodal y a un comportamiento reactivo en el que las acciones delta siguen acumulándose hasta el contacto.
Insertar la mano robótica en el vídeo mediante inpainting es esencial: con la mano Inspire, el éxito en la huevera fue de 0,90 con inpainting, 0,10 con una máscara verde sobre la mano y 0,05 con las imágenes brutas del exoesqueleto.
La entrada táctil solo ayudó cuando las lecturas eran limpias y la visión estaba bloqueada (recogida de sal con XHand: 0,75 con tacto frente a 0,15 sin él); con sensores ruidosos o con deriva redujo el éxito en la mayoría de las demás tareas.
Usar el mismo tipo de sensor táctil y la misma pose de la cámara de muñeca en el exoesqueleto y en la mano robótica mantiene la coherencia de las observaciones entre la recogida de datos y el despliegue.

Resultados principales

Tasa media de éxito en las tareas del 86 % en cuatro tareas del mundo real con dos manos robóticas.
Mano Inspire, acciones relativas de los dedos con tacto e inpainting (éxito acumulado por etapas, 20 episodios por tarea): Cube 1,00, Egg Carton 0,85, Tea agarre de la herramienta 1,00 y traslado de la hoja 0,85.
XHand, misma configuración: Tea agarre de la herramienta 1,00 y traslado de la hoja 0,85; Kitchen mando 0,95, sartén 0,95, sal 0,75.
Las acciones absolutas de los dedos con tacto fallaron en varias etapas, por ejemplo Cube 0,10 con la mano Inspire y Kitchen sal 0,00 con la XHand.
Recogida de datos en sesiones de 15 minutos en la recogida de té: 3,2 veces el rendimiento de la teleoperación, aunque más lenta que la mano humana desnuda (la Fig. 7 muestra 51, 36 y 11 demostraciones con éxito).
Datos de entrenamiento: 310 trayectorias para Cube, 175 para Egg Carton, 400 para Tea (por mano) y 370 más 100 trayectorias solo del mando para Kitchen.

Limitaciones

El diseño del exoesqueleto todavía necesita un ajuste específico para cada hardware, sobre todo en cuanto a la portabilidad, y solo se ajustan los espacios de trabajo de las yemas; otras geometrías de contacto, como la palma, no se modelan.
Los sensores táctiles no fueron fiables: los sensores resistivos añadidos a la mano Inspire eran sensibles a cómo se fijaban, y los sensores electromagnéticos de la XHand derivaban tras presiones altas, algo frecuente porque la mano humana aplica más fuerza que el robot.
El exoesqueleto impreso en 3D en PLA-CF puede deformarse bajo la fuerza de la mano sin que los encoders lo registren, y es posible que los usuarios no puedan estirar del todo algunos dedos.
La capa de software sigue necesitando la mano robótica real para grabar las imágenes de la mano, no reproduce del todo la iluminación, deja algunas zonas del inpainting borrosas y requiere que la cámara esté fijada rígidamente a la mano.
Las dos manos comerciales mostraron juego y fricción, por lo que la regresión de encoder a motor solo es precisa en un sentido (apertura o cierre); en la XHand, la correspondencia entre el comando del motor y la posición de la yema también se desplaza con el tiempo y tras los reinicios.

Impacto en el campo

DexUMI fue finalista de un premio de CoRL 2025 (Best Paper / Best Student Paper) y tiene 184 citas. El artículo remite a los lectores a su sitio web del proyecto, dex-umi.github.io; el propio texto del artículo no indica que se publique el código ni el diseño del hardware.

Resumen

Presentamos DexUMI, un marco de recogida de datos y aprendizaje de políticas que usa la mano humana como interfaz natural para transferir habilidades de manipulación diestra a distintas manos robóticas. DexUMI incluye adaptaciones de hardware y de software para minimizar la brecha de encarnación entre la mano humana y distintas manos robóticas. La adaptación de hardware salva la brecha cinemática mediante un exoesqueleto de mano portátil. Permite una realimentación háptica directa durante la recogida de datos de manipulación y adapta el movimiento humano a un movimiento factible de la mano robótica. La adaptación de software salva la brecha visual sustituyendo la mano humana en los datos de vídeo por un inpainting de alta fidelidad de la mano robótica. Demostramos las capacidades de DexUMI mediante experimentos exhaustivos en el mundo real con dos plataformas de hardware de manos robóticas diestras diferentes, con una tasa media de éxito en las tareas del 86 %.

Enlaces

arXiv 2505.21864: https://arxiv.org/abs/2505.21864
DOI 10.48550/arXiv.2505.21864: https://doi.org/10.48550/arXiv.2505.21864
PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/xu25b/xu25b.pdf
Página del proyecto: https://dex-umi.github.io/