Camera Intrinsics

• Aussi appelé: intrinsic parameters, intrinsic matrix
• Catégorie: Foundations & spatial maths › Frames & transforms
• Mots-clés: camera-calibration, computer-vision, projective-geometry, sensors, 3d-perception

Les paramètres internes d'une caméra, focales, point principal et distorsion de l'objectif, qui envoient les points 3D du repère caméra sur des coordonnées en pixels.

Définition

Les paramètres intrinsèques de la caméra (camera intrinsics) sont les paramètres qui décrivent comment une caméra transforme la lumière provenant de points 3D de son propre système de coordonnées en positions de pixels. Dans le modèle sténopé, ils sont regroupés dans une matrice 3×3 K, qui contient les focales fx et fy exprimées en pixels, le point principal (cx, cy) où l'axe optique rencontre l'image, et parfois un terme d'obliquité nul pour presque tous les capteurs modernes. Un point (X, Y, Z) du repère caméra se projette sur le pixel u = fx·X/Z + cx et v = fy·Y/Z + cy. Les objectifs réels ajoutent de la distorsion, généralement modélisée par des coefficients radiaux et tangentiels dans le modèle de Brown-Conrady, ou par des modèles fisheye dédiés pour les objectifs grand angle.

Les paramètres intrinsèques sont estimés par calibration. La méthode courante, introduite par Zhang (2000), photographie une cible plane comme un damier sous de nombreuses orientations et détermine K et les coefficients de distorsion en minimisant l'erreur de reprojection ; les outils de calibration de caméra d'OpenCV, de MATLAB et de ROS suivent tous cette approche. Les calibrations d'usine stockées dans les caméras de profondeur sont souvent assez bonnes pour être utilisées directement, mais elles doivent être lues depuis l'appareil, pas devinées. Les paramètres intrinsèques changent avec la résolution, le recadrage, le zoom et parfois la mise au point, si bien qu'une calibration n'est valable que pour le mode d'image dans lequel elle a été faite.

Les paramètres intrinsèques diffèrent des paramètres extrinsèques (extrinsics), qui décrivent où se trouve la caméra par rapport au robot ou au monde. Ensemble, ils donnent la projection complète des points du monde vers les pixels. Les robots utilisent les paramètres intrinsèques partout : pour rétroprojeter des pixels de profondeur en nuages de points, retrouver la pose d'un objet à partir de points clés de l'image avec Perspective-n-Point, corriger la distorsion des images avant l'appariement de caractéristiques, et rendre des images d'entraînement synthétiques qui correspondent à une caméra réelle. Garder les paramètres intrinsèques hors d'un modèle appris, et les appliquer ensuite dans une étape géométrique, permet au même réseau de fonctionner avec une autre caméra.

Pourquoi c'est important

Toute mesure qui relie les pixels à la géométrie du monde réel dépend des paramètres intrinsèques. Des erreurs sur ceux-ci déforment les nuages de points, biaisent les estimations de pose et rompent la correspondance entre images simulées et réelles ; des paramètres intrinsèques corrects sont donc une condition préalable à la plupart des systèmes de vision robotique.

Applications principales

• Rétroprojection d'images de profondeur en nuages de points
• Estimation de la pose d'objets et de caméras avec PnP
• Correction de la distorsion des images avant le suivi de caractéristiques et l'odométrie visuelle
• Rendu de données d'entraînement synthétiques correspondant à une caméra réelle
• Rectification stéréo et estimation de profondeur

En pratique

Une équipe fait passer son système de préhension d'une caméra RGB-D à une autre de résolution différente. Son détecteur de points clés produit des coordonnées en pixels, et la pose est retrouvée par PnP à l'aide de la matrice de la caméra. Au lieu de réentraîner, l'équipe lit les paramètres intrinsèques de la nouvelle caméra depuis son pilote pour la résolution de flux exacte utilisée, transmet les images corrigées de la distorsion au détecteur et met à jour K dans l'étape PnP. Une vérification rapide reprojette le modèle 3D d'un objet connu dans l'image à la pose estimée ; les arêtes coïncident à un ou deux pixels près, ce qui confirme que les paramètres sont justes. Lorsque l'équipe réduit plus tard les images de moitié pour gagner en vitesse, elle divise aussi par deux fx, fy, cx et cy.

Idées reçues

• La focale dans K est la focale de l'objectif en millimètres — elle est exprimée en pixels et dépend de la taille des pixels du capteur et de la résolution de l'image
• Les paramètres intrinsèques restent les mêmes quand les images sont redimensionnées ou recadrées — la mise à l'échelle modifie les focales et le point principal, et le recadrage déplace le point principal
• Le point principal est toujours exactement au centre de l'image — il en est généralement proche mais peut s'en écarter de plusieurs pixels ou plus
• La distorsion de l'objectif peut être ignorée en robotique — elle compte surtout près des bords de l'image et pour les objectifs grand angle, où les erreurs non corrigées peuvent être importantes

Qui devrait le savoir

• Ingénieurs en vision et en perception robotiques
• Développeurs qui utilisent des caméras RGB-D pour la manipulation
• Chercheurs qui génèrent des données d'entraînement synthétiques
• Étudiants en robotique qui apprennent la géométrie projective

Technologies associées

• OpenCV calibrateCamera
• ROS camera_calibration
• Modèle de caméra sténopé (Pinhole Camera Model)
• Modèle de distorsion de Brown-Conrady (Brown-Conrady Distortion Model)
• Modèle fisheye de Kannala-Brandt (Kannala-Brandt Fisheye Model)

Termes associés

• Extrinsic Calibration
• Perspective-n-Point
• RGB Camera
• Depth Camera
• Point Cloud
• Coordinate Frame

Projets associés

• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
• MRPT: Comprehensive C++ toolkit for mobile robotics, SLAM, and sensor-based navigation
• Gazebo: Industry-standard open-source robotics simulator with multi-physics and ROS integration
• PULP-Dronet: Visual navigation for nano-drones with CNN inference onboard a PULP processor.
• OpenWeedLocator: Low-cost Raspberry Pi weed detector that uses computer vision for precision spot spraying

Vidéos

• Intrinsic and Extrinsic Matrices | Camera Calibration: First Principles of Computer Vision
• Linear Camera Model | Camera Calibration: First Principles of Computer Vision