Camera-Based Tactile Sensor

Auch genannt: vision-based tactile sensor, optical tactile sensor, visuotactile sensor
Kategorie: Sensing › Contact & force
Schlagwörter: tactile-sensing, manipulation, elastomer, computer-vision, grippers

Ein taktiler Sensor, bei dem eine Kamera die Innenseite einer weichen, oft beschichteten oder mit Markern versehenen Elastomerhaut abbildet und so Form und Bewegung eines Kontakts in hochaufgelöste Bilder umwandelt.

Definition

Ein kamerabasierter taktiler Sensor (camera-based tactile sensor), auch visionsbasierter oder optischer taktiler Sensor genannt, misst Berührung, indem er eine verformbare Kontaktfläche von hinten abbildet. Ein typischer Aufbau besteht aus einem weichen Elastomerpad, oft mit einer dünnen opaken oder reflektierenden Beschichtung, das von einer oder mehreren Seiten mit LEDs beleuchtet und von einer kleinen Kamera durch einen starren transparenten Träger betrachtet wird. Wenn ein Objekt in das Pad drückt, nimmt die Beschichtung die lokale Form des Objekts an, und die Kamera sieht die Änderung der Schattierung. Andere Bauarten verfolgen gedruckte oder eingebettete Marker, deren Verschiebung Scherung und Schlupf erkennen lässt, oder bilden Stifte ab, die auf der Innenseite einer Haut eingeformt sind, wie bei der TacTip-Familie.

Weil die Ausgabe ein Bild ist, bieten diese Sensoren eine weit höhere räumliche Auflösung als Arrays diskreter Sensorelemente, sogenannter Taxel. Photometrisches Stereo mit verschiedenfarbigen Lichtquellen kann eine Tiefenkarte des Kontakts rekonstruieren, wie bei den GelSight-Sensoren, die aus der Arbeit von Johnson und Adelson zu retrographischer Sensorik am MIT hervorgingen. Markerverfolgung schätzt Scherfelder und den Beginn des Schlupfs, und gelernte Modelle können Kontaktkraft, Objektpose oder Textur direkt aus den Bildern schätzen. Offen veröffentlichte Designs wie DIGIT und schmale, in Greiferfinger eingebaute Versionen wie GelSlim haben diese Sensoren in der Manipulationsforschung verbreitet.

Kamerabasierte Sensoren sind eine Art von taktilen Sensoren und unterscheiden sich in wichtigen Punkten von resistiven, kapazitiven und piezoelektrischen Arrays. Kamera und Optik machen sie sperriger und schwerer in kleine oder gekrümmte Fingerspitzen einzubauen, und ihre Bandbreite ist durch die Bildrate der Kamera begrenzt, sodass hochfrequente Vibrationen andere Sensorik erfordern. Das Elastomer verschleißt, reißt und ändert seine Steifigkeit mit der Temperatur, sodass Gele und Beschichtungen Verbrauchsteile sind, und Kraftschätzungen hängen von einer Kalibrierung ab, die driften kann. Ihre Datenraten sind zudem viel höher als die skalarer Sensoren, was für Echtzeitregelung und Lern-Pipelines von Bedeutung ist.

Warum es wichtig ist

Viele Manipulationsfähigkeiten, etwa das Umpositionieren in der Hand, Einsetzen, Verfolgen von Kabeln und Schlupferkennung, hängen davon ab, die genaue Form und Bewegung eines Kontakts zu kennen. Kamerabasierte taktile Sensoren liefern diese Information in Bildauflösung aus kostengünstigen Bauteilen, und ihre Bildausgabe passt direkt zu den visionsbasierten Lernverfahren, die im Roboterlernen weit verbreitet sind.

Wichtige Anwendungen

Posenschätzung in der Hand und Umgreifen
Schlupferkennung und Greifkraftregelung
Einsetzen und Handhabung von Kabeln oder Steckverbindern
Erkennung von Textur, Härte und Material
Taktile Eingabe für gelernte Manipulations-Policies
Kontaktreiche Montage, die feine Ausrichtung erfordert

In der Praxis

Ein Labor stattet beide Finger eines Parallel-Greifers für eine Steckverbinder-Einsetzaufgabe mit kamerabasierten taktilen Sensoren aus. Vor jeder Sitzung nimmt das Team ein Referenzbild ohne Kontakt auf und berechnet zur Laufzeit das Differenzbild, um die Kontaktfläche zu segmentieren und den Winkel des Steckverbinders in der Hand aus der Ausrichtung seiner Kante zu schätzen. Markerverschiebungsfelder zeigen, wann der Steckverbinder zu rutschen beginnt, was eine Erhöhung der Greifkraft auslöst. Zugeschnittene und herunterskalierte taktile Bilder werden außerdem zusammen mit Bildern der Handgelenkkamera in eine gelernte Policy eingespeist. Das Team hält Ersatz-Gelpads bereit, kalibriert nach jedem Austausch neu und beobachtet das Referenzbild auf Risse oder Verschleiß der Beschichtung.

Häufige Missverständnisse

Kamerabasierte taktile Sensoren messen Kraft direkt — sie messen Verformung und Markerbewegung, und die Kraft muss über Kalibrierung oder gelernte Modelle erschlossen werden
Sie bilden eine eigene Kategorie neben taktilen Sensoren — sie sind eine Art von taktilem Sensor, die Optik statt elektrischer Sensorelemente nutzt
Hohe Bildauflösung bedeutet schnelles Ansprechen — die zeitliche Bandbreite ist durch die Bildrate der Kamera und die Verarbeitung begrenzt, sodass schnelle Vibrationen und Stöße andere Sensorik erfordern
Die Elastomerhaut ist ein dauerhaftes Bauteil — Gele und Beschichtungen verschleißen und reißen im Gebrauch und werden regelmäßig ersetzt, gefolgt von einer Neukalibrierung

Wer das wissen sollte

Forschende zu Manipulation und geschickten Roboterhänden
Konstrukteure von Greifern und Endeffektoren
Ingenieure für Roboterlernen, die mit multimodalen Eingaben arbeiten
Hardware-Maker, die taktile Fingerspitzen bauen

Open Source Robotics