Visual Servoing

También llamado: visual servo control, vision-based control
Categoría: Control › Feedback control
Etiquetas: control, computer-vision, feedback-control, manipulation, closed-loop

Control en lazo cerrado del movimiento de un robot mediante realimentación visual, en el que un error medido en las imágenes de la cámara se lleva continuamente a cero.

Definición

Servocontrol visual (visual servoing) controla un robot introduciendo las mediciones de la cámara directamente en el lazo de control. En lugar de mirar una vez, estimar dónde está un objetivo y luego moverse en lazo abierto, el robot mide repetidamente un error entre la imagen actual y una deseada y ordena un movimiento que lo reduce. Como el error se vuelve a medir en cada ciclo, el robot corrige sobre la marcha los errores de calibración, las imprecisiones del modelo y el movimiento del objetivo.

Las formulaciones clásicas son la basada en imagen y la basada en posición. En el servocontrol visual basado en imagen (image-based visual servoing, IBVS), el error se define sobre características de la imagen, como coordenadas de puntos o parámetros de rectas, y la matriz de interacción, también llamada jacobiano de imagen, relaciona el twist de velocidad de la cámara con la tasa de cambio de esas características. Una ley de control típica ordena una velocidad de la cámara proporcional a la pseudoinversa de la matriz de interacción multiplicada por el error de las características. El IBVS tolera los errores de calibración, pero necesita una estimación de la profundidad de las características y puede producir trayectorias 3D de la cámara poco naturales. En el servocontrol visual basado en posición (position-based visual servoing, PBVS), la imagen se usa para estimar la pose 3D del objetivo, y el controlador regula directamente el error de pose; esto da un movimiento en línea recta en el espacio cartesiano, pero depende de una calibración y una estimación de pose precisas. Los esquemas híbridos, como el servocontrol visual 2.5D, combinan ambos. La cámara puede ir montada en el robot (ojo en mano, eye-in-hand) o fija en el espacio de trabajo, observando tanto el robot como el objetivo (ojo a mano, eye-to-hand).

El servocontrol visual aprendido sustituye las características o las leyes de control diseñadas a mano por redes neuronales. Una red puede predecir, a partir de la imagen actual y de un objetivo, la dirección o la velocidad con la que debe moverse el efector final, y el robot ejecuta un paso pequeño y repite. Así se conserva la estructura de lazo cerrado y a la vez se manejan objetos y escenas para los que es difícil definir características diseñadas a mano.

Por qué importa

La calibración del robot y de la cámara nunca es perfecta, y los objetos rara vez están exactamente donde dice un modelo. Cerrar el lazo con la visión permite a un robot alcanzar, alinear e insertar con una precisión que depende sobre todo de lo que ve la cámara y no de lo bien que se calibró todo de antemano.

Aplicaciones clave

Inserción de clavija en agujero (peg-in-hole), de conectores y otras tareas de alineación precisa
Agarre de objetos en movimiento o mal localizados
Posicionamiento de instrumentos quirúrgicos y médicos con cámaras endoscópicas
Acoplamiento de robots móviles y drones a estaciones de carga u objetivos
Alcance aprendido de objetos objetivo a partir de imágenes

En la práctica

Un brazo con una cámara de muñeca debe alinear su pinza con un conector de una placa de circuito. Cuatro esquinas de un marcador fiducial situado junto al conector sirven como características de imagen, y sus posiciones deseadas en píxeles se registran una vez colocando la pinza a mano en la pose correcta. En ejecución, un controlador que funciona a la frecuencia de la cámara detecta las esquinas, calcula el error en píxeles, lo multiplica por la pseudoinversa de la matriz de interacción usando una profundidad aproximada y envía la velocidad de cámara resultante al brazo a través de la transformación mano-ojo y del jacobiano del robot. La ganancia se reduce cerca de la convergencia para evitar oscilaciones, y el lazo se detiene cuando el error en píxeles cae por debajo de un umbral. Los pequeños errores en la calibración mano-ojo cambian la trayectoria, pero no la alineación final.

Ideas erróneas comunes

El servocontrol visual necesita una cámara perfectamente calibrada — los esquemas basados en imagen, en particular, convergen a la imagen correcta incluso con errores moderados de calibración y de profundidad
Es lo mismo que detectar un objetivo y luego moverse hacia él — el servocontrol visual sigue midiendo y corrigiendo durante el movimiento en lugar de ejecutar un plan en lazo abierto
El servocontrol basado en imagen siempre mueve la cámara en línea recta — las trayectorias rectas en la imagen pueden dar trayectorias curvas o de retroceso en 3D, y las características pueden salir del campo de visión

Quién debería saberlo

Ingenieros de manipulación y de ensamblaje
Desarrolladores de visión y percepción robótica
Ingenieros de robótica médica y quirúrgica
Desarrolladores de acoplamiento de drones y robots móviles

Tecnologías relacionadas

ViSP
Matriz de interacción (Interaction Matrix)
Calibración mano-ojo (Hand-Eye Calibration)
Marcadores fiduciales (Fiducial Markers)
OpenCV

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments

Vídeos

Image-Based Visual Servoing - Robot Control Part 1: Engineering Educator Academy
Robot Image-based Visual Servoing I | Robotic Systems: Leopoldo Armesto