Eye-in-Hand Camera

• Detto anche: wrist-mounted camera, wrist camera, hand camera
• Categoria: Sensing › Exteroceptive
• Tag: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

Una telecamera montata sul polso o sull'end-effector di un robot in modo che si muova con la pinza, fornendo viste ravvicinate di ciò che la mano sta per toccare.

Definizione

Telecamera eye-in-hand (eye-in-hand camera) è montata sul polso, sulla flangia o sulla pinza del robot, così il suo punto di vista si muove con l'end-effector. L'alternativa, una telecamera eye-to-hand, è fissa nella cella di lavoro o sulla testa o sulla base del robot e osserva il braccio dall'esterno. Molti sistemi combinano le due: una telecamera fissa per una vista d'insieme della scena e una telecamera al polso per l'avvicinamento finale.

La posizione sul polso offre diversi vantaggi. La telecamera vede l'oggetto da vicino nel momento in cui conta, quindi piccoli dettagli ed errori di allineamento sono visibili ad alta risoluzione. La vista è all'incirca costante rispetto alla pinza, il che rende semplice la relazione tra le feature dell'immagine e il moto necessario della pinza; è la base del visual servoing eye-in-hand, e nelle policy di manipolazione apprese spesso rende il comportamento meno sensibile alla posizione degli oggetti nella scena. La telecamera può anche essere spostata per guardare oltre le occlusioni o scansionare un oggetto da più lati. I costi sono un campo visivo stretto e in continuo cambiamento che perde di vista la scena più ampia, l'occlusione da parte delle dita stesse della pinza e dell'oggetto afferrato, il mosso durante i movimenti rapidi, una distanza minima di messa a fuoco o di profondità che può essere troppo lunga quando la pinza è più vicina all'oggetto, e cablaggio e massa aggiuntivi sul polso.

Usare le immagini della telecamera in coordinate del robot richiede la calibrazione mano-occhio (hand-eye calibration): stimare la trasformazione fissa tra la telecamera e la flangia. La formulazione standard, AX = XB, confronta i moti della telecamera osservati rispetto a un target di calibrazione con i corrispondenti moti della flangia ottenuti dalla cinematica diretta; Tsai e Lenz pubblicarono nel 1989 una soluzione molto usata. Gli errori in questa trasformazione si traducono direttamente in scostamenti della presa, quindi la calibrazione viene ripetuta ogni volta che il supporto della telecamera viene cambiato o urtato.

Perché è importante

Le telecamere al polso sono standard sui manipolatori di ricerca e comuni nel picking industriale perché danno viste precise esattamente dove avviene il contatto. Gli studi sull'apprendimento da dimostrazioni hanno rilevato che aggiungere una vista dal polso spesso migliora il successo nei compiti di presa e inserimento rispetto alle sole telecamere fisse.

Applicazioni principali

• Allineamento nell'avvicinamento finale per presa e inserimento
• Ingressi d'immagine per policy di manipolazione visuomotorie apprese
• Visual servoing eye-in-hand
• Selezione attiva del punto di vista e scansione di oggetti
• Ispezione ravvicinata di pezzi e dettagli

In pratica

Un team che raccoglie dimostrazioni teleoperate per una policy di pick-and-place registra immagini da una telecamera fissa rivolta verso il tavolo e da una piccola telecamera RGB agganciata alla pinza. Durante l'addestramento, entrambe le viste vengono fornite alla policy. Nei test, la vista dal polso permette alla policy di correggere piccoli errori di allineamento appena prima di chiudere la pinza, cosa che la telecamera fissa lontana non riesce a risolvere. Prima di raccogliere i dati, il team esegue una calibrazione mano-occhio muovendo il braccio attraverso una serie di pose davanti a una scacchiera, e aggiunge una guida per cavi lungo l'avambraccio così che il cavo della telecamera non si impigli quando il polso ruota.

Idee sbagliate comuni

• Una telecamera al polso sostituisce una telecamera fissa sulla scena — la sua vista stretta perde il contesto più ampio, quindi molti sistemi usano entrambe
• La posa della telecamera è nota una volta montata — la trasformazione dalla telecamera alla flangia va stimata con la calibrazione mano-occhio e verificata dopo ogni modifica al supporto
• Più vicino è sempre meglio — le telecamere di profondità hanno una distanza minima, e le viste molto ravvicinate sono spesso occluse dalle dita o dall'oggetto stesso
• La calibrazione eye-in-hand e quella eye-to-hand sono lo stesso problema — la trasformazione incognita è diversa e lega la telecamera alla flangia in un caso e alla base del robot nell'altro

Chi dovrebbe saperlo

• Ingegneri di manipolazione e di presa
• Ricercatori di robot learning che raccolgono dati di dimostrazione
• Integratori di visione artificiale per celle industriali
• Progettisti di utensili di fine braccio

Tecnologie correlate

• Calibrazione mano-occhio (Hand-Eye Calibration)
• Telecamere RGB-D montate sul polso (Wrist-Mounted RGB-D Cameras)
• Visual servoing
• Marker fiduciali (Fiducial Markers)
• Robomimic

Termini correlati

• Visual Servoing
• RGB Camera
• Depth Camera
• End Effector
• Visuomotor Policy
• Gripper

Progetti correlati

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design