Eye-in-Hand Camera

• También llamado: wrist-mounted camera, wrist camera, hand camera
• Categoría: Sensing › Exteroceptive
• Etiquetas: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

Una cámara montada en la muñeca o el efector final de un robot para que se mueva con la pinza, lo que da vistas de cerca de lo que la mano está a punto de tocar.

Definición

Cámara ojo en mano (eye-in-hand camera) va montada en la muñeca, la brida o la pinza del robot, de modo que su punto de vista se mueve con el efector final. La alternativa, una cámara ojo a mano (eye-to-hand), está fija en la celda de trabajo o en la cabeza o la base del robot y observa el brazo desde fuera. Muchos sistemas combinan ambas: una cámara fija para tener una vista general de la escena y una cámara de muñeca para la aproximación final.

La posición en la muñeca aporta varias ventajas. La cámara ve el objeto de cerca en el momento en que importa, por lo que los detalles pequeños y los errores de alineación son visibles con alta resolución. La vista es aproximadamente constante respecto a la pinza, lo que simplifica la relación entre las características de la imagen y el movimiento necesario de la pinza; esta es la base del servocontrol visual ojo en mano, y en las políticas de manipulación aprendidas a menudo hace que el comportamiento sea menos sensible a dónde están los objetos en la escena. La cámara también puede moverse para mirar alrededor de las oclusiones o escanear un objeto desde varios lados. Los costes son un campo de visión estrecho y en cambio constante que pierde de vista la escena más amplia, la oclusión por los propios dedos de la pinza y por el objeto agarrado, el desenfoque de movimiento durante los movimientos rápidos, una distancia mínima de enfoque o de profundidad que puede ser demasiado larga cuando la pinza está más cerca del objeto, y cableado y masa adicionales en la muñeca.

Usar las imágenes de la cámara en coordenadas del robot requiere una calibración mano-ojo (hand-eye calibration): estimar la transformación fija entre la cámara y la brida. La formulación estándar, AX = XB, compara los movimientos de la cámara observados frente a un patrón de calibración con los movimientos correspondientes de la brida obtenidos por cinemática directa; Tsai y Lenz publicaron en 1989 una solución muy usada. Los errores en esta transformación aparecen directamente como desviaciones en el agarre, por lo que la calibración se repite cada vez que se cambia o se golpea el soporte de la cámara.

Por qué importa

Las cámaras de muñeca son estándar en los brazos robóticos de investigación y habituales en el picking industrial porque dan vistas precisas justo donde se produce el contacto. Los estudios sobre aprendizaje a partir de demostraciones han observado que añadir una vista de muñeca a menudo mejora el éxito en tareas de agarre e inserción en comparación con usar solo cámaras fijas.

Aplicaciones clave

• Alineación en la aproximación final para agarre e inserción
• Entradas de imagen para políticas de manipulación visuomotoras aprendidas
• Servocontrol visual ojo en mano
• Selección activa del punto de vista y escaneo de objetos
• Inspección de piezas y detalles a corta distancia

En la práctica

Un equipo que recopila demostraciones teleoperadas para una política de pick-and-place graba imágenes de una cámara fija orientada hacia la mesa y de una pequeña cámara RGB sujeta a la pinza. Durante el entrenamiento, ambas vistas se pasan a la política. En las pruebas, la vista de muñeca permite a la política corregir pequeños errores de alineación justo antes de cerrar la pinza, algo que la cámara fija lejana no puede resolver. Antes de recopilar datos, el equipo realiza una calibración mano-ojo moviendo el brazo por un conjunto de poses delante de un tablero de ajedrez, y añade una guía de cables a lo largo del antebrazo para que el cable de la cámara no se enganche cuando gira la muñeca.

Ideas erróneas comunes

• Una cámara de muñeca sustituye a una cámara fija de la escena — su vista estrecha pierde el contexto más amplio, por lo que muchos sistemas usan ambas
• La pose de la cámara se conoce una vez montada — la transformación de la cámara a la brida debe estimarse mediante calibración mano-ojo y comprobarse después de cualquier cambio en el soporte
• Más cerca siempre es mejor — las cámaras de profundidad tienen una distancia mínima, y las vistas muy cercanas a menudo quedan ocluidas por los dedos o por el propio objeto
• La calibración ojo en mano y la ojo a mano son el mismo problema — la transformación desconocida es distinta: une la cámara con la brida en un caso y con la base del robot en el otro

Quién debería saberlo

• Ingenieros de manipulación y de agarre
• Investigadores de aprendizaje robótico que recopilan datos de demostración
• Integradores de visión artificial para celdas industriales
• Diseñadores de herramientas de final de brazo

Tecnologías relacionadas

• Calibración mano-ojo (Hand-Eye Calibration)
• Cámaras RGB-D montadas en la muñeca (Wrist-Mounted RGB-D Cameras)
• Servocontrol visual (Visual Servoing)
• Marcadores fiduciales (Fiducial Markers)
• Robomimic

Términos relacionados

• Visual Servoing
• RGB Camera
• Depth Camera
• End Effector
• Visuomotor Policy
• Gripper

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design