Visual Servoing

• Auch genannt: visual servo control, vision-based control
• Kategorie: Control › Feedback control
• Schlagwörter: control, computer-vision, feedback-control, manipulation, closed-loop

Regelung der Roboterbewegung im geschlossenen Regelkreis mit visueller Rückführung, bei der ein in Kamerabildern gemessener Fehler fortlaufend auf null gebracht wird.

Definition

Visual Servoing (visuelle Servoregelung) regelt einen Roboter, indem Kameramessungen direkt in den Regelkreis eingespeist werden. Statt einmal hinzusehen, zu schätzen, wo ein Ziel ist, und sich dann in offener Steuerkette zu bewegen, misst der Roboter wiederholt einen Fehler zwischen dem aktuellen und einem gewünschten Bild und befiehlt eine Bewegung, die ihn verringert. Weil der Fehler in jedem Zyklus neu gemessen wird, korrigiert der Roboter Kalibrierfehler, Modellungenauigkeiten und Zielbewegungen fortlaufend.

Die klassischen Formulierungen sind bildbasiert und positionsbasiert. Beim bildbasierten Visual Servoing (Image-Based Visual Servoing, IBVS) wird der Fehler auf Bildmerkmalen definiert, etwa Punktkoordinaten oder Linienparametern, und die Interaktionsmatrix, auch Bild-Jacobi-Matrix genannt, setzt den Geschwindigkeitswinder (Twist) der Kamera mit der Änderungsrate dieser Merkmale in Beziehung. Ein typisches Regelgesetz befiehlt eine Kamerageschwindigkeit proportional zur Pseudoinversen der Interaktionsmatrix mal dem Merkmalsfehler. IBVS ist tolerant gegenüber Kalibrierfehlern, benötigt aber eine Schätzung der Merkmalstiefe und kann ungünstige 3D-Kamerabahnen erzeugen. Beim positionsbasierten Visual Servoing (Position-Based Visual Servoing, PBVS) wird das Bild genutzt, um die 3D-Pose des Ziels zu schätzen, und der Regler regelt den Posenfehler direkt; das ergibt geradlinige Bewegungen im kartesischen Raum, setzt aber eine genaue Kalibrierung und Posenschätzung voraus. Hybride Verfahren wie 2,5D-Visual-Servoing kombinieren beides. Die Kamera kann am Roboter montiert sein (Eye-in-Hand) oder fest im Arbeitsraum stehen und sowohl Roboter als auch Ziel beobachten (Eye-to-Hand).

Gelerntes Visual Servoing ersetzt handentworfene Merkmale oder Regelgesetze durch neuronale Netze. Ein Netz kann aus dem aktuellen Bild und einem Ziel vorhersagen, in welche Richtung oder mit welcher Geschwindigkeit sich der Endeffektor bewegen soll, und der Roboter führt einen kleinen Schritt aus und wiederholt das. So bleibt die Struktur des geschlossenen Regelkreises erhalten, während Objekte und Szenen bewältigt werden, für die sich handgefertigte Merkmale schwer definieren lassen.

Warum es wichtig ist

Die Kalibrierung von Roboter und Kamera ist nie perfekt, und Objekte liegen selten genau dort, wo ein Modell sie vermutet. Wird der Regelkreis über das Sehen geschlossen, kann ein Roboter mit einer Genauigkeit greifen, ausrichten und einsetzen, die hauptsächlich davon abhängt, was die Kamera sieht, und weniger davon, wie gut vorher alles kalibriert wurde.

Wichtige Anwendungen

• Peg-in-Hole, Steckverbinder und andere präzise Ausrichtaufgaben
• Greifen bewegter oder schlecht lokalisierter Objekte
• Positionieren chirurgischer und medizinischer Instrumente mit endoskopischen Kameras
• Andocken mobiler Roboter und Drohnen an Ladestationen oder Ziele
• Gelerntes Hinlangen zu Zielobjekten aus Bildern

In der Praxis

Ein Arm mit Handgelenkkamera muss seinen Greifer an einem Steckverbinder auf einer Leiterplatte ausrichten. Vier Ecken einer Passermarke neben dem Steckverbinder dienen als Bildmerkmale, und ihre gewünschten Pixelpositionen werden einmal aufgezeichnet, indem der Greifer von Hand in die richtige Pose gebracht wird. Zur Laufzeit erkennt ein Regler, der mit der Kamerarate läuft, die Ecken, berechnet den Pixelfehler, multipliziert ihn mit einer genäherten Tiefe mit der Pseudoinversen der Interaktionsmatrix und schickt die resultierende Kamerageschwindigkeit über die Hand-Auge-Transformation und die Jacobi-Matrix des Roboters an den Arm. Nahe der Konvergenz wird die Verstärkung reduziert, um Schwingungen zu vermeiden, und der Regelkreis stoppt, wenn der Pixelfehler unter einen Schwellwert fällt. Kleine Fehler in der Hand-Auge-Kalibrierung verändern die Bahn, aber nicht die endgültige Ausrichtung.

Häufige Missverständnisse

• Visual Servoing braucht eine perfekt kalibrierte Kamera — insbesondere bildbasierte Verfahren konvergieren auch bei mäßigen Kalibrier- und Tiefenfehlern zum richtigen Bild
• Es ist dasselbe, wie ein Ziel zu erkennen und sich dann dorthin zu bewegen — Visual Servoing misst und korrigiert während der Bewegung weiter, statt einen Plan in offener Steuerkette auszuführen
• Bildbasiertes Servoing bewegt die Kamera immer auf einer Geraden — gerade Bahnen im Bild können in 3D gekrümmte oder zurückweichende Bahnen ergeben, und Merkmale können das Sichtfeld verlassen

Wer das wissen sollte

• Ingenieure für Manipulation und Montage
• Entwickler von Robotersehen und Wahrnehmung
• Ingenieure für medizinische und chirurgische Robotik
• Entwickler für das Andocken von Drohnen und mobilen Robotern

Verwandte Technologien

• ViSP
• Interaktionsmatrix (Interaction Matrix)
• Hand-Auge-Kalibrierung (Hand-Eye Calibration)
• Passermarken (Fiducial Markers)
• OpenCV

Verwandte Begriffe

• Eye-in-Hand Camera
• Jacobian
• End Effector
• Visuomotor Policy
• RGB Camera
• Transform

Verwandte Projekte

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments

Videos

• Image-Based Visual Servoing - Robot Control Part 1: Engineering Educator Academy
• Robot Image-based Visual Servoing I | Robotic Systems: Leopoldo Armesto