DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

Autores: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um exoesqueleto vestível específico para cada mão mais o inpainting da mão robótica transformam demonstrações com a mão humana em dados de treinamento para a mão robótica, com 86 % de sucesso médio em quatro tarefas reais com duas mãos.

Por que importa

As demonstrações são gravadas sem a presença de um robô, o operador sente o contato real e o exoesqueleto só permite movimentos que a mão-alvo consegue reproduzir. Na tarefa de colheita de chá, isso coletou demonstrações bem-sucedidas 3,2 vezes mais rápido que a teleoperação, e a mesma abordagem funcionou em uma mão subatuada (Inspire) e em uma mão totalmente atuada (XHand).

Problema

Transferir habilidades de mãos humanas para mãos robóticas é difícil porque as duas diferem em estrutura cinemática, forma das superfícies de contato, informação tátil disponível e aparência visual, e porque mãos robóticas comerciais variam muito em graus de liberdade, faixas dos motores e atuação. A teleoperação, a interface usual, sofre com o descompasso espacial das observações e não dá feedback háptico direto, enquanto o retargeting das pontas dos dedos tem dificuldade com diferenças morfológicas como a flexibilidade do polegar.

Solução proposta

O DexUMI acrescenta uma camada de hardware e uma camada de software. A camada de hardware é um exoesqueleto impresso em 3D projetado para cada mão-alvo por uma otimização em dois níveis que ajusta seu espaço de trabalho das pontas dos dedos ao da mão robótica mantendo-o vestível; ele registra os ângulos articulares com encoders resistivos, a pose do punho com um iPhone rodando ARKit, imagens de uma câmera grande-angular de 150° sob o punho e o tato com os mesmos sensores táteis da mão robótica. A camada de software remove a mão e o exoesqueleto do vídeo com o SAM2, preenche o fundo com o ProPainter e compõe imagens da mão robótica real reproduzindo as mesmas ações articulares, preservando as oclusões; uma política de difusão com um codificador de imagem DINOv2 é treinada com o resultado.

Principais ideias

Ajustar o espaço de trabalho das pontas dos dedos do exoesqueleto ao da mão robótica, e não ao da mão humana, torna as ações articulares gravadas diretamente executáveis; a otimização desloca a articulação de giro do polegar de volta em direção ao punho para que ela não colida com o polegar humano.
Ações relativas dos dedos superam ações absolutas em todas as tarefas da Tabela 1; os autores atribuem isso a uma distribuição de ações mais simples e unimodal e a um comportamento reativo em que as ações delta continuam se acumulando até o contato.
Inserir a mão robótica no vídeo por inpainting é essencial: na mão Inspire, o sucesso na caixa de ovos foi de 0,90 com inpainting, 0,10 com uma máscara verde sobre a mão e 0,05 com imagens brutas do exoesqueleto.
A entrada tátil só ajudou onde as leituras eram limpas e a visão estava bloqueada (pegar sal com o XHand: 0,75 com tato contra 0,15 sem); com sensores ruidosos ou com deriva, ela reduziu o sucesso na maioria das outras tarefas.
Usar o mesmo tipo de sensor tátil e a mesma pose da câmera de punho no exoesqueleto e na mão robótica mantém as observações consistentes entre a coleta de dados e a implantação.

Principais resultados

Taxa média de sucesso nas tarefas de 86 % em quatro tarefas do mundo real com duas mãos robóticas.
Mão Inspire, ações relativas dos dedos com tato e inpainting (sucesso acumulado por etapa, 20 episódios por tarefa): Cube 1,00, Egg Carton 0,85, Tea preensão da ferramenta 1,00 e transferência da folha 0,85.
XHand, mesma configuração: Tea preensão da ferramenta 1,00 e transferência da folha 0,85; Kitchen botão 0,95, panela 0,95, sal 0,75.
Ações absolutas dos dedos com tato falharam em várias etapas, por exemplo Cube 0,10 na mão Inspire e Kitchen sal 0,00 no XHand.
Coleta de dados em sessões de 15 minutos na colheita de chá: 3,2 vezes a vazão da teleoperação, embora mais lenta que a mão humana sem nada (a Fig. 7 mostra 51, 36 e 11 demonstrações bem-sucedidas).
Dados de treinamento: 310 trajetórias para Cube, 175 para Egg Carton, 400 para Tea (por mão) e 370 mais 100 trajetórias só do botão para Kitchen.

Limitações

O design do exoesqueleto ainda precisa de ajuste específico para cada hardware, sobretudo quanto à vestibilidade, e apenas os espaços de trabalho das pontas dos dedos são ajustados; outras geometrias de contato, como a palma, não são modeladas.
Os sensores táteis não foram confiáveis: os sensores resistivos adicionados à mão Inspire eram sensíveis à forma de fixação, e os sensores eletromagnéticos do XHand apresentavam deriva após pressões altas, o que ocorria com frequência porque a mão humana aplica mais força que o robô.
O exoesqueleto impresso em 3D em PLA-CF pode se deformar sob a força da mão sem que os encoders registrem isso, e os usuários podem não conseguir esticar totalmente alguns dedos.
A camada de software ainda precisa da mão robótica real para gravar as imagens da mão, não reproduz totalmente a iluminação, deixa algumas áreas do inpainting borradas e exige que a câmera esteja fixada rigidamente à mão.
As duas mãos comerciais apresentaram folga e atrito, então a regressão de encoder para motor é precisa em apenas um sentido (abrir ou fechar); no XHand, o mapeamento entre o comando do motor e a posição da ponta do dedo também se desloca com o tempo e após reinicializações.

Impacto na área

O DexUMI foi finalista de um prêmio do CoRL 2025 (Best Paper / Best Student Paper) e tem 184 citações. O artigo remete os leitores ao site do projeto, dex-umi.github.io; o próprio texto do artigo não informa a disponibilização de código ou do projeto de hardware.

Resumo

Apresentamos o DexUMI, um framework de coleta de dados e aprendizado de políticas que usa a mão humana como interface natural para transferir habilidades de manipulação destra para diversas mãos robóticas. O DexUMI inclui adaptações de hardware e de software para minimizar a lacuna de incorporação entre a mão humana e diversas mãos robóticas. A adaptação de hardware supera a lacuna cinemática usando um exoesqueleto de mão vestível. Ela permite feedback háptico direto na coleta de dados de manipulação e adapta o movimento humano a um movimento viável da mão robótica. A adaptação de software supera a lacuna visual substituindo a mão humana nos dados de vídeo por um inpainting de alta fidelidade da mão robótica. Demonstramos as capacidades do DexUMI por meio de experimentos abrangentes no mundo real em duas plataformas de hardware diferentes de mãos robóticas destras, atingindo uma taxa média de sucesso nas tarefas de 86 %.

Open Source Robotics