Eye-in-Hand Camera

• Aussi appelé: wrist-mounted camera, wrist camera, hand camera
• Catégorie: Sensing › Exteroceptive
• Mots-clés: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

Caméra montée sur le poignet ou l'effecteur d'un robot de façon à se déplacer avec la pince, ce qui donne des vues rapprochées de ce que la main s'apprête à toucher.

Définition

Une caméra embarquée sur la main (eye-in-hand camera) est montée sur le poignet, la bride ou la pince du robot, de sorte que son point de vue se déplace avec l'effecteur. L'alternative, une caméra déportée (eye-to-hand), est fixée dans la cellule de travail ou sur la tête ou la base du robot et observe le bras de l'extérieur. De nombreux systèmes combinent les deux : une caméra fixe pour une vue d'ensemble de la scène et une caméra au poignet pour l'approche finale.

La position au poignet apporte plusieurs avantages. La caméra voit l'objet de près au moment où cela compte, si bien que les petits détails et les erreurs d'alignement sont visibles en haute résolution. La vue est à peu près constante par rapport à la pince, ce qui simplifie la relation entre primitives d'image et mouvement de pince nécessaire ; c'est la base de l'asservissement visuel (visual servoing) en configuration embarquée, et dans les politiques de manipulation apprises, cela rend souvent le comportement moins sensible à l'emplacement des objets dans la scène. La caméra peut aussi être déplacée pour regarder au-delà des occultations ou numériser un objet sous plusieurs faces. Les inconvénients sont un champ de vision étroit et en changement constant qui perd de vue la scène plus large, l'occultation par les doigts de la pince elle-même et par l'objet saisi, le flou de mouvement pendant les déplacements rapides, une distance minimale de mise au point ou de profondeur qui peut être trop longue quand la pince est au plus près de l'objet, ainsi que des câbles et une masse supplémentaires au poignet.

Utiliser les images de la caméra dans les coordonnées du robot exige une calibration main-œil (hand-eye calibration) : l'estimation de la transformation fixe entre la caméra et la bride. La formulation standard, AX = XB, compare les mouvements de la caméra observés par rapport à une mire de calibration aux mouvements correspondants de la bride issus de la cinématique directe ; Tsai et Lenz ont publié en 1989 une solution largement utilisée. Les erreurs sur cette transformation se traduisent directement par des décalages de saisie, si bien que la calibration est refaite chaque fois que le support de caméra est modifié ou heurté.

Pourquoi c'est important

Les caméras au poignet sont la norme sur les manipulateurs de recherche et courantes en prélèvement industriel, car elles donnent des vues précises exactement là où le contact a lieu. Des études sur l'apprentissage par démonstration ont constaté qu'ajouter une vue depuis le poignet améliore souvent la réussite des tâches de saisie et d'insertion par rapport à des caméras fixes seules.

Applications principales

• Alignement en approche finale pour la saisie et l'insertion
• Entrées d'image pour les politiques de manipulation visuomotrices apprises
• Asservissement visuel avec caméra embarquée (eye-in-hand)
• Choix actif du point de vue et numérisation d'objets
• Inspection rapprochée de pièces et de détails

En pratique

Une équipe qui collecte des démonstrations téléopérées pour une politique de prise et dépose (pick-and-place) enregistre les images d'une caméra fixe tournée vers la table et d'une petite caméra RGB clipsée sur la pince. Pendant l'entraînement, les deux vues sont fournies à la politique. Lors des tests, la vue du poignet permet à la politique de corriger de petites erreurs d'alignement juste avant de fermer la pince, erreurs que la caméra fixe éloignée ne peut pas résoudre. Avant de collecter les données, l'équipe effectue une calibration main-œil en déplaçant le bras à travers une série de poses devant un damier, et ajoute un guide-câble le long de l'avant-bras pour que le câble de la caméra ne s'accroche pas quand le poignet tourne.

Idées reçues

• Une caméra au poignet remplace une caméra fixe de scène — son champ étroit perd le contexte plus large, c'est pourquoi de nombreux systèmes utilisent les deux
• La pose de la caméra est connue une fois celle-ci montée — la transformation caméra-bride doit être estimée par calibration main-œil et vérifiée après toute modification du support
• Plus près, c'est toujours mieux — les caméras de profondeur ont une portée minimale, et les vues très rapprochées sont souvent occultées par les doigts ou par l'objet lui-même
• Les calibrations eye-in-hand et eye-to-hand sont le même problème — la transformation inconnue diffère : elle relie la caméra à la bride dans un cas et à la base du robot dans l'autre

Qui devrait le savoir

• Ingénieurs en manipulation et en saisie
• Chercheurs en apprentissage robotique qui collectent des données de démonstration
• Intégrateurs de vision industrielle pour cellules de production
• Concepteurs d'outillage de bout de bras (end-of-arm tooling)

Technologies associées

• Calibration main-œil (Hand-Eye Calibration)
• Caméras RGB-D montées au poignet (Wrist-Mounted RGB-D Cameras)
• Asservissement visuel (Visual Servoing)
• Marqueurs fiduciaires (Fiducial Markers)
• Robomimic

Termes associés

• Visual Servoing
• RGB Camera
• Depth Camera
• End Effector
• Visuomotor Policy
• Gripper

Projets associés

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design