PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

Autori: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

PolyTouch riunisce tatto basato su telecamera, un microfono a contatto e visione periferica in un unico dito resistente; le Diffusion Policy tattili che lo usano battono le policy visuo-propriocettive in quattro compiti bimanuali.

Perché è importante

Un dito tattile che resiste a un uso prolungato ricco di contatti e che si può costruire senza attrezzature di stampaggio rende pratico raccogliere dati tattili sui robot alla scala di cui hanno bisogno le policy apprese. I quattro compiti di prova erano normali compiti bimanuali non scelti per il rilevamento tattile, e i fallimenti legati alla forza osservati senza tatto, come premere troppo una chiave inglese o troppo poco una spatola, non si sono verificati con l'input tattile.

Problema

Le policy che si basano solo su visione esterna e propriocezione hanno difficoltà con occlusioni, oggetti in disordine o difficili da vedere e compiti che richiedono una regolazione precisa della forza di contatto. I sensori tattili basati su telecamera offrono un'alta risoluzione spaziale, ma di solito funzionano sotto i 100 Hz, si usurano per abrasione, strappo e delaminazione, richiedono attrezzature specializzate per la fabbricazione e diventano ingombranti all'aumentare dell'area sensibile.

Soluzione proposta

PolyTouch è un dito robotico che combina una superficie tattile basata su telecamera (una telecamera IMX708 che osserva l'elastomero tramite uno specchio curvo, illuminato da LED blu a 450 nm e vernice fluorescente), un microfono a contatto piezoelettrico a 48 kHz e una visione periferica attraverso due finestre laterali, trasmessi tramite un unico cavo HDMI riadattato a un Raspberry Pi. L'elastomero predefinito è nastro 3M VHB trasparente strofinato con scaglie di alluminio e coperto con nastro 3M Soft & Stretch, in una cartuccia che si sfila per la sostituzione; un'opzione in silicone usa gomma XP-565. La Diffusion Policy tattile codifica le immagini tattili e periferiche con un encoder T3 pre-addestrato, le immagini del polso e della scena con CLIP, l'audio con un Audio Spectrogram Transformer e la propriocezione con un MLP, le fonde con cross-attention e prevede le azioni con una Diffusion Policy U-Net.

Idee chiave

• Usare nastro adesivo VHB come elastomero elimina quasi del tutto il problema di delaminazione dei gel di silicone, e una persona inesperta impiega meno di 5 minuti per realizzare un elastomero VHB.
• La forza eccessiva o insufficiente (premere troppo inserendo una chiave inglese, non premere abbastanza la spatola raccogliendo) si è verificata solo con la policy basata su visione e propriocezione, mai con nessuna delle due policy che includono il tatto.
• Prese imprecise sono state osservate 11 volte con la policy visuo-proprio contro 3 in media per le policy che includono il tatto; gli autori lo attribuiscono alla vista periferica ravvicinata durante la presa.
• Più modalità possono richiedere più dati: il vantaggio sulla policy visuo-proprio si è ridotto quando la policy per servire l'uovo è stata addestrata su 1/3 o 2/3 dei dati, cosa che gli autori collegano alla maggiore dimensione del modello.

Risultati principali

• Durata con uso di utensile emulato (presa da 10 a 30 N sul manico di una spatola, sfregamento 6D casuale continuo): PolyTouch-VHB ha funzionato 35 h senza guasti né perdita di qualità dell'immagine; due gel standard di GelSight Mini sono durati 1,0 h (strappo del gel) e 3,3 h (perdita di vernice); un gel XP-565 su misura su un GelSight Mini è durato 25,0 h. L'abstract e l'introduzione descrivono questo risultato come un aumento della durata di almeno 20 volte rispetto ai sensori commerciali.
• Costo stimato di circa 61 USD per dito, costruito per lo più con materiali di commercio senza attrezzature specializzate.
• Serve Egg con tutti i dati: avanzamento medio del compito 81 % (visuo-proprio), 88 % (multi-concate), 100 % (multi-crossatn); successo medio del compito 66 %, 73 % e 100 %.
• Successo medio del compito negli altri compiti (visuo-proprio / multi-concate / multi-crossatn): Insert Wrench 0 % / 20 % / 18 %, Sort Fruit 33 % / 46 % / 46 %, Crack Egg 50 % / 53 % / 54 %.
• La separazione di more e mirtilli è riuscita l'80 % delle volte con le policy che includono il tatto, contro il 20 % con la policy visuo-proprio.
• Guadagno di avanzamento in Serve Egg di multi-crossatn rispetto a visuo-proprio: 19 % con tutti i dati, 3 % con 2/3 e 7 % con 1/3; guadagno di successo del 34 % con tutti i dati e del 20 % con 2/3.

Limiti

• Il nastro VHB in schiuma acrilica viscoelastica recupera lentamente dopo il contatto, e questa isteresi può causare una risposta più lenta o ambiguità nei compiti dinamici; gli autori suggeriscono immagini a differenza temporale, il controllo incrociato con la vista periferica o un materiale meno viscoso (limitazione dichiarata).
• Le policy multimodali sono sembrate richiedere più dati per mostrare tutto il loro beneficio, forse a causa del modello più grande (secondo gli autori).
• I set di addestramento sono piccoli, circa da 70 a 200 dimostrazioni per compito, e l'articolo non indica su quante esecuzioni di valutazione si basi ciascuna voce delle tabelle.
• Il confronto della durata usa un solo setup di uso di utensile emulato e una sola famiglia di sensori commerciali (GelSight Mini).
• L'elastomero in silicone risponde più rapidamente del VHB, ma richiede lo stesso processo di fabbricazione degli altri sensori in silicone.

Impatto sul settore

Ha vinto l'IEEE ICRA 2025 Best Paper Award in Field and Service Robotics; 53 citazioni. L'articolo fornisce la distinta base del dito, con un costo stimato di 61 USD per dito, e i passaggi di fabbricazione, e rimanda a una pagina del progetto; non rimanda a codice né a file di progetto.

Abstract

Ottenere una manipolazione fine robusta in ambienti domestici non strutturati resta una sfida significativa per la robotica. Anche con metodi di apprendimento robotico allo stato dell'arte, le strategie di controllo che ignorano il tatto (cioè quelle che si basano solo sulla visione esterna e/o sulla propriocezione) spesso falliscono a causa di occlusioni, complessità visive e della necessità di un controllo preciso dell'interazione di contatto. Per affrontare questi limiti presentiamo PolyTouch, un nuovo dito robotico che integra rilevamento tattile basato su telecamera, rilevamento acustico e rilevamento visivo periferico in un unico design compatto e resistente. PolyTouch fornisce un feedback tattile ad alta risoluzione su più scale temporali, essenziale per apprendere in modo efficiente compiti di manipolazione complessi. Gli esperimenti dimostrano un aumento della durata di almeno 20 volte rispetto ai sensori tattili commerciali, con un design facile da produrre e scalabile. Usiamo poi questo feedback tattile multimodale insieme a osservazioni visuo-propriocettive per sintetizzare una Diffusion Policy tattile a partire da dimostrazioni umane; la policy di controllo consapevole del contatto che ne risulta supera in modo significativo le policy che ignorano il tatto in diverse policy di manipolazione consapevoli del contatto. Questo articolo evidenzia come integrare efficacemente il rilevamento multimodale del contatto possa accelerare lo sviluppo di policy di manipolazione consapevoli del contatto efficaci, aprendo la strada a robot domestici più affidabili e versatili. Ulteriori informazioni sono disponibili su https://polytouch.alanz.info/.

Link

• arXiv 2504.19341: https://arxiv.org/abs/2504.19341
• DOI 10.1109/ICRA55743.2025.11128816: https://doi.org/10.1109/ICRA55743.2025.11128816
• PDF: https://arxiv.org/pdf/2504.19341v1
• Pagina del progetto: https://polytouch.alanz.info/