Camera Intrinsics

También llamado: intrinsic parameters, intrinsic matrix
Categoría: Foundations & spatial maths › Frames & transforms
Etiquetas: camera-calibration, computer-vision, projective-geometry, sensors, 3d-perception

Los parámetros internos de una cámara, distancias focales, punto principal y distorsión de la lente, que llevan puntos 3D del sistema de la cámara a coordenadas de píxel.

Definición

Parámetros intrínsecos de la cámara (camera intrinsics) son los parámetros que describen cómo una cámara convierte la luz procedente de puntos 3D de su propio sistema de coordenadas en posiciones de píxel. En el modelo estenopeico se reúnen en una matriz K de 3×3, que contiene las distancias focales fx y fy expresadas en píxeles, el punto principal (cx, cy) donde el eje óptico corta la imagen y, a veces, un término de sesgo (skew) que es cero en casi todos los sensores modernos. Un punto (X, Y, Z) en el sistema de la cámara se proyecta en el píxel u = fx·X/Z + cx y v = fy·Y/Z + cy. Las lentes reales añaden distorsión, que normalmente se modela con coeficientes radiales y tangenciales en el modelo de Brown-Conrady, o con modelos ojo de pez específicos para lentes gran angular.

Los parámetros intrínsecos se estiman mediante calibración. El método habitual, introducido por Zhang (2000), fotografía un patrón plano, como un tablero de ajedrez, desde muchas orientaciones y resuelve K y los coeficientes de distorsión minimizando el error de reproyección; las herramientas de calibración de cámaras de OpenCV, MATLAB y ROS siguen todas este enfoque. Las calibraciones de fábrica almacenadas en las cámaras de profundidad suelen ser lo bastante buenas para usarlas directamente, pero deben leerse del dispositivo, no suponerse. Los parámetros intrínsecos cambian con la resolución, el recorte, el zoom y a veces el enfoque, así que una calibración solo es válida para el modo de imagen en el que se hizo.

Los parámetros intrínsecos se distinguen de los extrínsecos, que describen dónde está la cámara respecto al robot o al mundo. Juntos dan la proyección completa de puntos del mundo a píxeles. Los robots usan los parámetros intrínsecos en todas partes: para retroproyectar píxeles de profundidad en nubes de puntos, recuperar la pose de un objeto a partir de puntos clave de la imagen con Perspective-n-Point, corregir la distorsión de las imágenes antes del emparejamiento de características y renderizar imágenes sintéticas de entrenamiento que coincidan con una cámara real. Mantener los parámetros intrínsecos fuera de un modelo aprendido, y aplicarlos después en un paso geométrico, permite que la misma red funcione con otra cámara.

Por qué importa

Cualquier medición que relacione píxeles con la geometría del mundo real depende de los parámetros intrínsecos. Los errores en ellos deforman las nubes de puntos, sesgan las estimaciones de pose y rompen la correspondencia entre imágenes simuladas y reales, así que unos parámetros intrínsecos correctos son un requisito previo para la mayor parte de la visión robótica.

Aplicaciones clave

Retroproyección de imágenes de profundidad en nubes de puntos
Estimación de la pose de objetos y de la cámara con PnP
Corrección de la distorsión de imágenes antes del seguimiento de características y la odometría visual
Renderizado de datos sintéticos de entrenamiento que coincidan con una cámara real
Rectificación estéreo y estimación de profundidad

En la práctica

Un equipo cambia su sistema de agarre de una cámara RGB-D a otra con una resolución distinta. Su detector de puntos clave produce coordenadas de píxel, y la pose se recupera con PnP usando la matriz de la cámara. En lugar de reentrenar, leen los parámetros intrínsecos de la nueva cámara desde su controlador para la resolución exacta del flujo en uso, pasan las imágenes sin distorsión al detector y actualizan K en el paso de PnP. Una comprobación rápida reproyecta en la imagen el modelo 3D de un objeto conocido en la pose estimada; los bordes coinciden con un margen de uno o dos píxeles, lo que confirma que los parámetros son correctos. Cuando más adelante reducen las imágenes a la mitad para ganar velocidad, también dividen a la mitad fx, fy, cx y cy.

Ideas erróneas comunes

La distancia focal en K es la distancia focal de la lente en milímetros — se expresa en píxeles y depende del tamaño de píxel del sensor y de la resolución de la imagen
Los parámetros intrínsecos no cambian cuando las imágenes se redimensionan o recortan — el escalado cambia las distancias focales y el punto principal, y el recorte desplaza el punto principal
El punto principal es siempre el centro exacto de la imagen — suele estar cerca, pero puede desviarse varios píxeles o más
La distorsión de la lente puede ignorarse en robótica — importa sobre todo cerca de los bordes de la imagen y con lentes gran angular, donde los errores sin corregir pueden ser grandes

Quién debería saberlo

Ingenieros de visión y percepción robótica
Desarrolladores que usan cámaras RGB-D para manipulación
Investigadores que generan datos sintéticos de entrenamiento
Estudiantes de robótica que aprenden geometría proyectiva

Tecnologías relacionadas

OpenCV calibrateCamera
ROS camera_calibration
Modelo de cámara estenopeica (Pinhole Camera Model)
Modelo de distorsión de Brown-Conrady (Brown-Conrady Distortion Model)
Modelo ojo de pez de Kannala-Brandt (Kannala-Brandt Fisheye Model)

Términos relacionados

Proyectos relacionados

pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
MRPT: Comprehensive C++ toolkit for mobile robotics, SLAM, and sensor-based navigation
Gazebo: Industry-standard open-source robotics simulator with multi-physics and ROS integration
PULP-Dronet: Visual navigation for nano-drones with CNN inference onboard a PULP processor.
OpenWeedLocator: Low-cost Raspberry Pi weed detector that uses computer vision for precision spot spraying

Vídeos

Intrinsic and Extrinsic Matrices | Camera Calibration: First Principles of Computer Vision
Linear Camera Model | Camera Calibration: First Principles of Computer Vision