Eye-in-Hand Camera

Auch genannt: wrist-mounted camera, wrist camera, hand camera
Kategorie: Sensing › Exteroceptive
Schlagwörter: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

Eine am Handgelenk oder Endeffektor eines Roboters montierte Kamera, die sich mit dem Greifer bewegt und Nahansichten dessen liefert, was die Hand gleich berühren wird.

Definition

Eine Eye-in-Hand-Kamera (Eye-in-Hand Camera) ist am Handgelenk, am Flansch oder am Greifer des Roboters montiert, sodass sich ihr Blickpunkt mit dem Endeffektor bewegt. Die Alternative, eine Eye-to-Hand-Kamera, ist fest in der Arbeitszelle oder am Kopf oder an der Basis des Roboters angebracht und beobachtet den Arm von außen. Viele Systeme kombinieren beides: eine feste Kamera für den Überblick über die Szene und eine Handgelenkkamera für die letzte Annäherung.

Die Position am Handgelenk bringt mehrere Vorteile. Die Kamera sieht das Objekt im entscheidenden Moment aus kurzer Entfernung, sodass kleine Merkmale und Ausrichtungsfehler in hoher Auflösung sichtbar sind. Die Ansicht ist relativ zum Greifer ungefähr konstant, was die Beziehung zwischen Bildmerkmalen und nötiger Greiferbewegung einfach macht; darauf beruht das Visual Servoing in Eye-in-Hand-Anordnung, und bei gelernten Manipulations-Policies macht es das Verhalten oft weniger empfindlich dafür, wo Objekte in der Szene liegen. Die Kamera kann auch bewegt werden, um um Verdeckungen herumzuschauen oder ein Objekt von mehreren Seiten abzutasten. Die Nachteile sind ein enges, sich ständig änderndes Sichtfeld, das den Überblick über die weitere Szene verliert, Verdeckung durch die eigenen Finger des Greifers und das gegriffene Objekt, Bewegungsunschärfe bei schnellen Bewegungen, eine minimale Fokus- oder Tiefenreichweite, die zu groß sein kann, wenn der Greifer dem Objekt am nächsten ist, sowie zusätzliche Verkabelung und Masse am Handgelenk.

Um die Bilder der Kamera in Roboterkoordinaten zu nutzen, ist eine Hand-Auge-Kalibrierung (Hand-Eye Calibration) nötig: die Schätzung der festen Transformation zwischen Kamera und Flansch. Die Standardformulierung AX = XB vergleicht gegenüber einem Kalibriermuster beobachtete Kamerabewegungen mit den entsprechenden Flanschbewegungen aus der Vorwärtskinematik; Tsai und Lenz veröffentlichten 1989 eine weit verbreitete Lösung. Fehler in dieser Transformation zeigen sich direkt als Griffversatz, daher wird die Kalibrierung wiederholt, sobald die Kamerahalterung verändert oder angestoßen wurde.

Warum es wichtig ist

Handgelenkkameras sind an Forschungsmanipulatoren Standard und in der industriellen Kommissionierung verbreitet, weil sie genau dort präzise Ansichten liefern, wo der Kontakt stattfindet. Studien zum Lernen aus Demonstrationen haben festgestellt, dass eine zusätzliche Handgelenkansicht den Erfolg bei Greif- und Einsetzaufgaben im Vergleich zu festen Kameras allein oft verbessert.

Wichtige Anwendungen

Ausrichtung bei der letzten Annäherung zum Greifen und Einsetzen
Bildeingaben für gelernte visuomotorische Manipulations-Policies
Eye-in-Hand-Visual-Servoing
Aktive Blickpunktwahl und Abtasten von Objekten
Inspektion von Teilen und Merkmalen aus der Nähe

In der Praxis

Ein Team, das teleoperierte Demonstrationen für eine Pick-and-Place-Policy sammelt, zeichnet Bilder von einer festen, auf den Tisch gerichteten Kamera und von einer kleinen RGB-Kamera auf, die am Greifer festgeklemmt ist. Beim Training werden beide Ansichten in die Policy eingespeist. In Tests erlaubt die Handgelenkansicht der Policy, kleine Ausrichtungsfehler kurz vor dem Schließen des Greifers zu korrigieren, die die entfernte feste Kamera nicht auflösen kann. Vor der Datensammlung führt das Team eine Hand-Auge-Kalibrierung durch, indem es den Arm vor einem Schachbrettmuster durch eine Reihe von Posen bewegt, und es bringt eine Kabelführung entlang des Unterarms an, damit sich das Kamerakabel nicht verfängt, wenn sich das Handgelenk dreht.

Häufige Missverständnisse

Eine Handgelenkkamera ersetzt eine feste Szenenkamera — ihr enges Sichtfeld verliert den größeren Kontext, daher nutzen viele Systeme beides
Die Kamerapose ist bekannt, sobald die Kamera montiert ist — die Transformation von der Kamera zum Flansch muss durch Hand-Auge-Kalibrierung geschätzt und nach jeder Änderung an der Halterung überprüft werden
Näher ist immer besser — Tiefenkameras haben eine Mindestentfernung, und sehr nahe Ansichten werden oft durch die Finger oder das Objekt selbst verdeckt
Eye-in-Hand- und Eye-to-Hand-Kalibrierung sind dasselbe Problem — die unbekannte Transformation ist eine andere: Sie verbindet die Kamera im einen Fall mit dem Flansch, im anderen mit der Roboterbasis

Wer das wissen sollte

Ingenieure für Manipulation und Greifen
Forschende im Roboterlernen, die Demonstrationsdaten sammeln
Integratoren von Bildverarbeitung für Industriezellen
Konstrukteure von Endeffektor-Werkzeugen (End-of-Arm Tooling)

Open Source Robotics