Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Homography

  • Aussi appelé: projective transformation, planar homography, collineation
  • Catégorie: Foundations & spatial maths › Frames & transforms
  • Mots-clés: computer-vision, projective-geometry, calibration, spatial-math, image-alignment

Transformation projective 3×3 qui envoie les points d'un plan sur un autre, par exemple une surface plane vue par deux caméras, ou deux images prises par une caméra qui ne fait que tourner.

Définition

Une homographie (homography) est une application linéaire inversible entre deux plans projectifs. En coordonnées homogènes, un point x d'une image est envoyé sur x′ ≅ Hx dans l'autre, où H est une matrice 3×3 et ≅ signifie égal à un facteur d'échelle près. Comme l'échelle globale de H ne compte pas, elle a huit degrés de liberté. Une homographie conserve les droites mais pas le parallélisme, les longueurs ni les angles, ce qui lui permet de transformer un rectangle vu en biais en sa vue de face. Les transformations affines et les similitudes en sont des cas particuliers.

Deux situations donnent une homographie exacte entre images de caméra : lorsque tous les points observés se trouvent sur un même plan, et lorsque la caméra tourne autour de son centre optique sans translation, auquel cas H = K R K⁻¹, avec K la matrice intrinsèque et R la rotation. Un plan peut aussi être relié à ses propres coordonnées métriques dans l'image, avec H = K[r₁ r₂ t] formée des deux premières colonnes de la rotation et de la translation, ce qui est à la base de la méthode d'étalonnage de caméra de Zhang, largement utilisée, avec une mire plane. Pour une scène 3D générale vue depuis deux positions, les points hors du plan présentent une parallaxe et aucune homographie unique ne leur convient.

H est estimée à partir d'au moins quatre correspondances de points, dont trois ne sont jamais alignés, par la transformation linéaire directe sur des coordonnées normalisées, généralement au sein de RANSAC pour rejeter les mauvais appariements, puis affinée en minimisant l'erreur de reprojection. La distorsion de l'objectif doit être supprimée d'abord, car elle n'est pas projective. Pour une caméra étalonnée, une homographie peut être décomposée en une rotation, une translation mise à l'échelle par la distance au plan et la normale au plan, bien que la décomposition donne jusqu'à quatre solutions candidates entre lesquelles il faut trancher. Alors que les paramètres intrinsèques de la caméra décrivent comment une caméra unique projette des points 3D et que perspective-n-point retrouve une pose de caméra à partir de points 3D connus, une homographie est purement une application entre deux plans, et constitue souvent une première étape vers l'un ou l'autre.

Pourquoi c'est important

Les homographies sont l'outil standard chaque fois qu'une caméra regarde une surface plane : coordonnées de table et de sol, marqueurs fiduciaires, mires d'étalonnage, assemblage d'images et vues à vol d'oiseau. Elles sont peu coûteuses à estimer et faciles à vérifier, et savoir quand l'hypothèse de plan ou de rotation pure ne tient plus évite des erreurs subtiles.

Applications principales

  • Redressement en vue de dessus de tables, de sols et de surfaces de travail
  • Étalonnage de caméra à partir de mires planes
  • Estimation de pose à partir de marqueurs fiduciaires plans
  • Assemblage d'images et panoramas à partir de caméras en rotation
  • Projection en perspective inverse pour des vues à vol d'oiseau de la route
  • Asservissement visuel par homographie sur des cibles planes

En pratique

Un robot qui peint sur une toile plane doit savoir où ses coups de pinceau atterrissent réellement. L'équipe fait peindre au robot une grille de points à des positions commandées connues, photographie la toile avec une caméra fixe, supprime la distorsion de l'objectif et détecte les centres des points. L'ajustement d'une homographie avec RANSAC entre les centres détectés et les positions commandées donne une application des pixels de la caméra vers les coordonnées de la toile, qui redresse chaque nouvelle photo en une vue de dessus de la toile, comparable pixel par pixel à l'image prévue, et montre où et de combien les coups de pinceau du robot s'écartent de leurs cibles. Si les résidus restent importants près des bords, la toile n'est pas plane ou la distorsion n'a pas été entièrement supprimée, et une seule homographie ne suffit pas.

Idées reçues

  • Une homographie peut aligner deux images quelconques d'une scène — elle n'est exacte que pour des scènes planes ou une caméra en rotation pure ; les scènes 3D générales vues avec une translation de la caméra présentent une parallaxe
  • Une homographie est la même chose qu'une transformation affine — les applications affines conservent le parallélisme des droites, alors qu'une homographie peut les faire converger
  • Les coordonnées brutes en pixels suffisent pour l'estimation — il faut supprimer la distorsion de l'objectif et normaliser les coordonnées pour obtenir une estimation précise et bien conditionnée
  • Décomposer une homographie donne une pose unique — on obtient jusqu'à quatre solutions candidates, et des contraintes supplémentaires sont nécessaires pour choisir la solution physique

Qui devrait le savoir

  • Ingénieurs en vision par ordinateur et en étalonnage
  • Développeurs de manipulation guidée par caméra sur des surfaces planes
  • Ingénieurs en perception pour la conduite autonome
  • Étudiants en robotique qui apprennent la géométrie projective

Technologies associées

  • OpenCV findHomography
  • Transformation linéaire directe (Direct Linear Transform)
  • AprilTag
  • Assemblage d'images (Image Stitching)
  • Projection en perspective inverse (Inverse Perspective Mapping)

Termes associés

  • Camera Intrinsics
  • Perspective-n-Point
  • RANSAC
  • Extrinsic Calibration
  • Bird's-Eye View
  • Transform

Projets associés

  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
  • MRPT: Comprehensive C++ toolkit for mobile robotics, SLAM, and sensor-based navigation
  • image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth
  • PULP-Dronet: Visual navigation for nano-drones with CNN inference onboard a PULP processor.
  • OpenWeedLocator: Low-cost Raspberry Pi weed detector that uses computer vision for precision spot spraying

Vidéos

  • ENB339 lecture 9: Image geometry and planar homography: Peter Corke
  • Computing Homography | Image Stitching: First Principles of Computer Vision

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.