PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

Autoren: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

PolyTouch vereint kamerabasierten Tastsinn, ein Kontaktmikrofon und periphere Sicht in einem langlebigen Finger; taktile Diffusion Policies, die ihn nutzen, schlagen visuo-propriozeptive Policies bei vier zweiarmigen Aufgaben.

Warum es wichtig ist

Ein taktiler Finger, der langen kontaktreichen Einsatz übersteht und sich ohne Gießausrüstung bauen lässt, macht es praktikabel, taktile Daten auf Robotern in dem Umfang zu sammeln, den gelernte Policies benötigen. Die vier Testaufgaben waren gewöhnliche zweiarmige Aufgaben, die nicht im Hinblick auf taktile Sensorik ausgewählt wurden, und kraftbezogene Fehler, die ohne Tastsinn auftraten, etwa einen Schraubenschlüssel zu fest oder einen Pfannenwender zu schwach aufzudrücken, kamen mit taktiler Eingabe nicht vor.

Problem

Policies, die sich nur auf externe Sicht und Propriozeption stützen, haben Schwierigkeiten mit Verdeckung, unübersichtlichen oder schwer sichtbaren Objekten und Aufgaben, die eine präzise Regelung der Kontaktkraft erfordern. Kamerabasierte Taktilsensoren bieten eine hohe räumliche Auflösung, laufen aber typischerweise mit weniger als 100 Hz, verschleißen durch Abrieb, Reißen und Delamination, erfordern zur Herstellung spezielle Ausrüstung und werden mit wachsender Sensorfläche sperrig.

Lösungsansatz

PolyTouch ist ein Roboterfinger, der eine kamerabasierte taktile Oberfläche (eine IMX708-Kamera, die das Elastomer über einen gekrümmten Spiegel betrachtet, beleuchtet von blauen 450-nm-LEDs und Fluoreszenzfarbe), ein piezoelektrisches Kontaktmikrofon mit 48 kHz und periphere Sicht durch zwei seitliche Fenster kombiniert, die über ein einziges umfunktioniertes HDMI-Kabel an einen Raspberry Pi gestreamt werden. Das Standard-Elastomer ist klares 3M-VHB-Band, mit Aluminiumflocken eingerieben und mit 3M-Soft-&-Stretch-Band abgedeckt, in einer Kartusche, die sich zum Austausch herausschieben lässt; eine Silikonvariante nutzt XP-565-Kautschuk. Die taktile Diffusion Policy kodiert taktile und periphere Bilder mit einem vortrainierten T3-Encoder, Handgelenk- und Szenenbilder mit CLIP, Audio mit einem Audio Spectrogram Transformer und Propriozeption mit einem MLP, fusioniert sie per Cross-Attention und sagt Aktionen mit einer U-Net-Diffusion-Policy voraus.

Wichtigste Erkenntnisse

Klebendes VHB-Band als Elastomer zu verwenden, beseitigt das Delaminationsproblem von Silikongelen fast vollständig, und ein unerfahrener Mensch braucht für ein VHB-Elastomer weniger als 5 Minuten.
Zu große oder zu geringe Kraft (zu festes Drücken beim Einsetzen eines Schraubenschlüssels, zu schwaches Drücken des Pfannenwenders beim Aufnehmen) trat nur bei der Policy mit Sicht und Propriozeption auf, nie bei einer der beiden taktilen Policies.
Ungenaue Griffe wurden bei der visuo-proprio-Policy 11-mal beobachtet, gegenüber durchschnittlich 3-mal bei den taktilen Policies; die Autoren führen dies auf die nahe periphere Sicht beim Greifen zurück.
Mehr Modalitäten benötigen womöglich mehr Daten: Der Vorsprung vor der visuo-proprio-Policy schrumpfte, wenn die Policy zum Servieren von Eiern auf 1/3 oder 2/3 der Daten trainiert wurde, was die Autoren mit der größeren Modellgröße in Verbindung bringen.

Hauptergebnisse

Haltbarkeit bei nachgebildetem Werkzeuggebrauch (10 bis 30 N Griff an einem Pfannenwendergriff, kontinuierliches zufälliges 6D-Reiben): PolyTouch-VHB lief 35 h ohne Ausfall oder Verlust an Bildqualität; zwei Standardgele des GelSight Mini hielten 1,0 h (Riss im Gel) und 3,3 h (Farbverlust); ein eigenes XP-565-Gel auf einem GelSight Mini hielt 25,0 h. Zusammenfassung und Einleitung beschreiben dies als mindestens 20-fache Verlängerung der Lebensdauer gegenüber kommerziellen Sensoren.
Geschätzte Kosten etwa 61 USD pro Finger, überwiegend aus handelsüblichen Materialien ohne spezielle Ausrüstung gebaut.
Serve Egg mit allen Daten: durchschnittlicher Aufgabenfortschritt 81 % (visuo-proprio), 88 % (multi-concate), 100 % (multi-crossatn); durchschnittlicher Aufgabenerfolg 66 %, 73 % und 100 %.
Durchschnittlicher Aufgabenerfolg bei den anderen Aufgaben (visuo-proprio / multi-concate / multi-crossatn): Insert Wrench 0 % / 20 % / 18 %, Sort Fruit 33 % / 46 % / 46 %, Crack Egg 50 % / 53 % / 54 %.
Das Sortieren von Brombeeren und Heidelbeeren gelang mit taktilen Policies in 80 % der Fälle, gegenüber 20 % mit der visuo-proprio-Policy.
Fortschrittsgewinn bei Serve Egg von multi-crossatn gegenüber visuo-proprio: 19 % mit allen Daten, 3 % mit 2/3 und 7 % mit 1/3; Erfolgsgewinn 34 % mit allen Daten und 20 % mit 2/3.

Einschränkungen

Das viskoelastische VHB-Band aus Acrylschaum erholt sich nach dem Kontakt langsam, und diese Hysterese kann bei dynamischen Aufgaben zu langsamerer Reaktion oder Mehrdeutigkeit führen; die Autoren schlagen Bilder zeitlicher Differenzen, einen Abgleich mit der peripheren Sicht oder ein weniger viskoses Material vor (angegebene Einschränkung).
Multimodale Policies schienen mehr Daten zu benötigen, um ihren vollen Nutzen zu zeigen, möglicherweise wegen des größeren Modells (von den Autoren angegeben).
Die Trainingssätze sind klein, etwa 70 bis 200 Demonstrationen pro Aufgabe, und die Arbeit gibt nicht an, auf wie vielen Evaluationsläufen jeder Tabelleneintrag beruht.
Der Vergleich der Lebensdauer nutzt einen nachgebildeten Werkzeuggebrauch und eine kommerzielle Sensorfamilie (GelSight Mini).
Das Silikon-Elastomer reagiert schneller als VHB, benötigt aber denselben Herstellungsprozess wie andere Silikonsensoren.

Wirkung auf das Fachgebiet

Gewann den IEEE ICRA 2025 Best Paper Award in Field and Service Robotics; 53 Zitierungen. Die Arbeit gibt die Stückliste des Fingers mit geschätzten 61 USD pro Finger und seine Herstellungsschritte an und verweist auf eine Projektseite; Code oder Konstruktionsdateien verlinkt sie nicht.

Zusammenfassung

Robuste geschickte Manipulation in unstrukturierten häuslichen Umgebungen zu erreichen, bleibt eine bedeutende Herausforderung der Robotik. Selbst mit Methoden des Roboterlernens auf dem Stand der Technik scheitern haptikblinde Steuerungsstrategien (d. h. solche, die sich nur auf externe Sicht und/oder Propriozeption stützen) oft an Verdeckungen, visueller Komplexität und der Notwendigkeit einer präzisen Regelung der Kontaktinteraktion. Um diese Einschränkungen anzugehen, stellen wir PolyTouch vor, einen neuartigen Roboterfinger, der kamerabasierte taktile Sensorik, akustische Sensorik und periphere visuelle Sensorik in einem einzigen kompakten und langlebigen Design vereint. PolyTouch liefert hochaufgelöstes taktiles Feedback über mehrere Zeitskalen, was für das effiziente Erlernen komplexer Manipulationsaufgaben unerlässlich ist. Experimente zeigen eine mindestens 20-fache Verlängerung der Lebensdauer gegenüber kommerziellen Taktilsensoren, bei einem Design, das sowohl einfach herzustellen als auch skalierbar ist. Anschließend nutzen wir dieses multimodale taktile Feedback zusammen mit visuo-propriozeptiven Beobachtungen, um aus menschlichen Demonstrationen eine taktile Diffusion Policy zu synthetisieren; die resultierende kontaktbewusste Steuerungs-Policy übertrifft haptikblinde Policies in mehreren kontaktbewussten Manipulations-Policies deutlich. Diese Arbeit zeigt, wie die wirksame Integration multimodaler Kontaktsensorik die Entwicklung effektiver kontaktbewusster Manipulations-Policies beschleunigen kann, und ebnet den Weg für zuverlässigere und vielseitigere Haushaltsroboter. Weitere Informationen finden sich unter https://polytouch.alanz.info/.

Open Source Robotics