PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

Auteurs: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

PolyTouch réunit un toucher par caméra, un microphone de contact et une vision périphérique dans un seul doigt durable ; les Diffusion Policy tactiles qui l'utilisent battent les politiques visuo-proprioceptives sur quatre tâches bimanuelles.

Pourquoi c'est important

Un doigt tactile qui résiste à un long usage riche en contacts et peut être fabriqué sans équipement de moulage rend praticable la collecte de données tactiles sur robots à l'échelle dont ont besoin les politiques apprises. Les quatre tâches de test étaient des tâches bimanuelles ordinaires, non choisies pour la détection tactile, et les échecs liés à la force observés sans toucher, comme appuyer trop fort sur une clé ou trop faiblement sur une spatule, ne se sont pas produits avec l'entrée tactile.

Problème

Les politiques qui ne reposent que sur la vision externe et la proprioception peinent face aux occultations, aux objets encombrés ou difficiles à voir, et aux tâches qui exigent une régulation précise de la force de contact. Les capteurs tactiles à caméra offrent une haute résolution spatiale, mais fonctionnent généralement en dessous de 100 Hz, s'usent par abrasion, déchirure et délaminage, nécessitent un équipement spécialisé pour leur fabrication, et deviennent encombrants à mesure que la surface de détection augmente.

Solution proposée

PolyTouch est un doigt robotique qui combine une surface tactile à caméra (une caméra IMX708 qui observe l'élastomère par un miroir courbe, éclairé par des LED bleues de 450 nm et une peinture fluorescente), un microphone de contact piézoélectrique à 48 kHz et une vision périphérique par deux fenêtres latérales, diffusés par un seul câble HDMI détourné vers un Raspberry Pi. L'élastomère par défaut est un ruban 3M VHB transparent frotté de paillettes d'aluminium et recouvert de ruban 3M Soft & Stretch, dans une cartouche qui se retire en glissant pour être remplacée ; une option en silicone utilise du caoutchouc XP-565. La Diffusion Policy tactile encode les images tactiles et périphériques avec un encodeur T3 pré-entraîné, les images du poignet et de la scène avec CLIP, l'audio avec un Audio Spectrogram Transformer et la proprioception avec un MLP, les fusionne par attention croisée et prédit les actions avec une Diffusion Policy U-Net.

Idées clés

• Utiliser du ruban adhésif VHB comme élastomère supprime presque entièrement le problème de délaminage des gels de silicone, et une personne inexpérimentée met moins de 5 minutes à fabriquer un élastomère VHB.
• Une force excessive ou insuffisante (appuyer trop fort en insérant une clé, ne pas appuyer assez fort sur la spatule en ramassant) n'est apparue qu'avec la politique vision et proprioception, jamais avec l'une ou l'autre des politiques incluant le toucher.
• Des saisies imprécises ont été observées 11 fois avec la politique visuo-proprio contre 3 en moyenne pour les politiques incluant le toucher ; les auteurs l'attribuent à la vue périphérique rapprochée pendant la saisie.
• Davantage de modalités peuvent exiger davantage de données : le gain par rapport à la politique visuo-proprio s'est réduit lorsque la politique de service d'œuf a été entraînée sur 1/3 ou 2/3 des données, ce que les auteurs relient à la taille plus grande du modèle.

Principaux résultats

• Durabilité sous usage d'outil émulé (saisie de 10 à 30 N sur un manche de spatule, frottement 6D aléatoire continu) : PolyTouch-VHB a fonctionné 35 h sans défaillance ni perte de qualité d'image ; deux gels standard de GelSight Mini ont tenu 1,0 h (déchirure du gel) et 3,3 h (perte de peinture) ; un gel XP-565 sur mesure monté sur un GelSight Mini a tenu 25,0 h. Le résumé et l'introduction présentent cela comme une durée de vie au moins 20 fois supérieure à celle des capteurs commerciaux.
• Coût estimé d'environ 61 USD par doigt, fabriqué surtout à partir de matériaux du commerce sans équipement spécialisé.
• Serve Egg avec toutes les données : progression moyenne de la tâche de 81 % (visuo-proprio), 88 % (multi-concate), 100 % (multi-crossatn) ; succès moyen de la tâche de 66 %, 73 % et 100 %.
• Succès moyen sur les autres tâches (visuo-proprio / multi-concate / multi-crossatn) : Insert Wrench 0 % / 20 % / 18 %, Sort Fruit 33 % / 46 % / 46 %, Crack Egg 50 % / 53 % / 54 %.
• Le tri entre mûres et myrtilles a réussi dans 80 % des cas avec les politiques incluant le toucher, contre 20 % avec la politique visuo-proprio.
• Gain de progression sur Serve Egg de multi-crossatn par rapport à visuo-proprio : 19 % avec toutes les données, 3 % avec 2/3 et 7 % avec 1/3 ; gain de succès de 34 % avec toutes les données et de 20 % avec 2/3.

Limites

• Le ruban VHB en mousse acrylique viscoélastique récupère lentement après le contact, et cette hystérésis peut ralentir la réponse ou créer une ambiguïté dans les tâches dynamiques ; les auteurs suggèrent des images de différence temporelle, une vérification croisée avec la vue périphérique ou un matériau moins visqueux (limitation indiquée).
• Les politiques multimodales semblaient avoir besoin de davantage de données pour montrer tout leur bénéfice, peut-être en raison du modèle plus grand (indiqué par les auteurs).
• Les ensembles d'entraînement sont petits, environ 70 à 200 démonstrations par tâche, et l'article n'indique pas sur combien d'exécutions d'évaluation repose chaque entrée des tableaux.
• La comparaison de durée de vie utilise un seul montage d'usage d'outil émulé et une seule famille de capteurs commerciaux (GelSight Mini).
• L'élastomère en silicone réagit plus vite que le VHB mais nécessite le même procédé de fabrication que les autres capteurs en silicone.

Impact sur le domaine

A remporté le prix IEEE ICRA 2025 Best Paper Award in Field and Service Robotics ; 53 citations. L'article donne la nomenclature du doigt, avec un coût estimé de 61 USD par doigt, et ses étapes de fabrication, et renvoie à une page de projet ; il ne renvoie à aucun code ni fichier de conception.

Résumé

Parvenir à une manipulation dextre robuste dans des environnements domestiques non structurés reste un défi majeur en robotique. Même avec des méthodes d'apprentissage robotique à l'état de l'art, les stratégies de commande ignorant l'haptique (c'est-à-dire celles qui reposent uniquement sur la vision externe et/ou la proprioception) échouent souvent en raison des occultations, de la complexité visuelle et du besoin d'une commande précise de l'interaction de contact. Pour remédier à ces limites, nous présentons PolyTouch, un nouveau doigt robotique qui intègre la détection tactile par caméra, la détection acoustique et la détection visuelle périphérique dans une conception unique, compacte et durable. PolyTouch fournit un retour tactile haute résolution sur plusieurs échelles temporelles, ce qui est essentiel pour apprendre efficacement des tâches de manipulation complexes. Les expériences montrent une durée de vie au moins 20 fois supérieure à celle des capteurs tactiles commerciaux, avec une conception à la fois facile à fabriquer et évolutive. Nous utilisons ensuite ce retour tactile multimodal avec des observations visuo-proprioceptives pour synthétiser une Diffusion Policy tactile à partir de démonstrations humaines ; la politique de commande sensible au contact qui en résulte surpasse nettement les politiques ignorant l'haptique dans plusieurs politiques de manipulation sensibles au contact. Cet article montre comment l'intégration efficace de la détection de contact multimodale peut accélérer le développement de politiques de manipulation efficaces sensibles au contact, ouvrant la voie à des robots domestiques plus fiables et plus polyvalents. Plus d'informations sont disponibles sur https://polytouch.alanz.info/.

Liens

• arXiv 2504.19341: https://arxiv.org/abs/2504.19341
• DOI 10.1109/ICRA55743.2025.11128816: https://doi.org/10.1109/ICRA55743.2025.11128816
• PDF: https://arxiv.org/pdf/2504.19341v1
• Page du projet: https://polytouch.alanz.info/