PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

Autores: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O PolyTouch reúne tato baseado em câmera, um microfone de contato e visão periférica em um único dedo durável; as Diffusion Policy táteis que o usam superam políticas visuo-proprioceptivas em quatro tarefas bimanuais.

Por que importa

Um dedo tátil que resiste a uso prolongado com muito contato e pode ser construído sem equipamento de moldagem torna prático coletar dados táteis em robôs na escala de que as políticas aprendidas precisam. As quatro tarefas de teste eram tarefas bimanuais comuns, não escolhidas para sensoriamento tátil, e falhas relacionadas à força vistas sem tato, como pressionar demais uma chave de boca ou de menos uma espátula, não ocorreram com entrada tátil.

Problema

Políticas que dependem apenas de visão externa e propriocepção têm dificuldade com oclusão, objetos desordenados ou difíceis de ver e tarefas que exigem regulação precisa da força de contato. Sensores táteis baseados em câmera oferecem alta resolução espacial, mas normalmente operam abaixo de 100 Hz, desgastam-se por abrasão, rasgo e delaminação, precisam de equipamento especializado para fabricação e ficam volumosos à medida que a área de sensoriamento aumenta.

Solução proposta

O PolyTouch é um dedo robótico que combina uma superfície tátil baseada em câmera (uma câmera IMX708 que observa o elastômero por meio de um espelho curvo, iluminado por LEDs azuis de 450 nm e tinta fluorescente), um microfone de contato piezoelétrico de 48 kHz e visão periférica por duas janelas laterais, transmitidos por um único cabo HDMI reaproveitado até um Raspberry Pi. O elastômero padrão é fita 3M VHB transparente esfregada com flocos de alumínio e coberta com fita 3M Soft & Stretch, em um cartucho que desliza para fora para ser substituído; uma opção de silicone usa borracha XP-565. A Diffusion Policy tátil codifica as imagens táteis e periféricas com um codificador T3 pré-treinado, as imagens do punho e da cena com CLIP, o áudio com um Audio Spectrogram Transformer e a propriocepção com um MLP, funde-os com atenção cruzada e prevê as ações com uma Diffusion Policy U-Net.

Principais ideias

Usar fita adesiva VHB como elastômero elimina quase totalmente o problema de delaminação dos géis de silicone, e uma pessoa sem experiência leva menos de 5 minutos para fazer um elastômero VHB.
Força excessiva ou insuficiente (pressionar demais ao inserir uma chave de boca, não pressionar a espátula o suficiente ao recolher) ocorreu apenas com a política de visão e propriocepção, nunca com nenhuma das políticas que incluem tato.
Preensões imprecisas foram vistas 11 vezes com a política visuo-proprio, contra 3 em média nas políticas que incluem tato; os autores atribuem isso à visão periférica de perto durante a preensão.
Mais modalidades podem exigir mais dados: o ganho sobre a política visuo-proprio diminuiu quando a política de servir ovo foi treinada com 1/3 ou 2/3 dos dados, o que os autores ligam ao maior tamanho do modelo.

Principais resultados

Durabilidade sob uso de ferramenta emulado (preensão de 10 a 30 N no cabo de uma espátula, fricção 6D aleatória contínua): o PolyTouch-VHB funcionou 35 h sem falha nem perda de qualidade de imagem; dois géis padrão do GelSight Mini duraram 1,0 h (rasgo do gel) e 3,3 h (perda de tinta); um gel XP-565 personalizado em um GelSight Mini durou 25,0 h. O resumo e a introdução descrevem isso como um aumento de pelo menos 20 vezes na vida útil em relação a sensores comerciais.
Custo estimado de cerca de 61 USD por dedo, construído principalmente com materiais prontos de mercado, sem equipamento especializado.
Serve Egg com todos os dados: progresso médio da tarefa de 81 % (visuo-proprio), 88 % (multi-concate), 100 % (multi-crossatn); sucesso médio da tarefa de 66 %, 73 % e 100 %.
Sucesso médio da tarefa nas demais tarefas (visuo-proprio / multi-concate / multi-crossatn): Insert Wrench 0 % / 20 % / 18 %, Sort Fruit 33 % / 46 % / 46 %, Crack Egg 50 % / 53 % / 54 %.
A separação de amoras e mirtilos teve sucesso em 80 % das vezes com as políticas que incluem tato, contra 20 % com a política visuo-proprio.
Ganho de progresso em Serve Egg do multi-crossatn sobre o visuo-proprio: 19 % com todos os dados, 3 % com 2/3 e 7 % com 1/3; ganho de sucesso de 34 % com todos os dados e de 20 % com 2/3.

Limitações

A fita VHB de espuma acrílica viscoelástica se recupera lentamente após o contato, e essa histerese pode causar resposta mais lenta ou ambiguidade em tarefas dinâmicas; os autores sugerem imagens de diferença temporal, verificação cruzada com a visão periférica ou um material menos viscoso (limitação declarada).
As políticas multimodais pareceram precisar de mais dados para mostrar todo o seu benefício, possivelmente por causa do modelo maior (segundo os autores).
Os conjuntos de treinamento são pequenos, com cerca de 70 a 200 demonstrações por tarefa, e o artigo não informa em quantas execuções de avaliação cada entrada das tabelas se baseia.
A comparação de vida útil usa uma única configuração de uso de ferramenta emulado e uma única família de sensores comerciais (GelSight Mini).
O elastômero de silicone responde mais rápido que o VHB, mas precisa do mesmo processo de fabricação que outros sensores de silicone.

Impacto na área

Venceu o IEEE ICRA 2025 Best Paper Award in Field and Service Robotics; 53 citações. O artigo apresenta a lista de materiais do dedo, com custo estimado de 61 USD por dedo, e suas etapas de fabricação, e remete a uma página de projeto; não traz link para código nem para arquivos de projeto.

Resumo

Alcançar manipulação destra robusta em ambientes domésticos não estruturados continua sendo um desafio significativo na robótica. Mesmo com métodos de aprendizado robótico de estado da arte, estratégias de controle alheias ao tato (ou seja, as que dependem apenas de visão externa e/ou propriocepção) muitas vezes ficam aquém devido a oclusões, complexidades visuais e à necessidade de controle preciso da interação por contato. Para enfrentar essas limitações, apresentamos o PolyTouch, um novo dedo robótico que integra sensoriamento tátil baseado em câmera, sensoriamento acústico e sensoriamento visual periférico em um único projeto compacto e durável. O PolyTouch fornece feedback tátil de alta resolução em múltiplas escalas temporais, o que é essencial para aprender com eficiência tarefas de manipulação complexas. Os experimentos demonstram um aumento de pelo menos 20 vezes na vida útil em relação a sensores táteis comerciais, com um projeto fácil de fabricar e escalável. Em seguida, usamos esse feedback tátil multimodal junto com observações visuo-proprioceptivas para sintetizar uma Diffusion Policy tátil a partir de demonstrações humanas; a política de controle sensível ao contato resultante supera significativamente políticas alheias ao tato em múltiplas políticas de manipulação sensíveis ao contato. Este artigo destaca como integrar de forma eficaz o sensoriamento de contato multimodal pode acelerar o desenvolvimento de políticas de manipulação sensíveis ao contato eficazes, abrindo caminho para robôs domésticos mais confiáveis e versáteis. Mais informações podem ser encontradas em https://polytouch.alanz.info/.

Open Source Robotics