Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Structure from Motion

  • Aussi appelé: SfM
  • Catégorie: State estimation & navigation › Localisation
  • Mots-clés: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping

Reconstitution des poses de caméra et d'un nuage de points 3D épars d'une scène à partir d'un ensemble d'images qui se recouvrent, en appariant des caractéristiques entre les vues et en affinant le tout par ajustement de faisceaux.

Définition

La structure à partir du mouvement (SfM) (structure from motion) estime la structure 3D d'une scène et la pose de la caméra pour chaque image à partir d'une collection de photographies qui se recouvrent. Rien d'autre que les images n'est strictement nécessaire, même si des paramètres intrinsèques de caméra connus aident. Le résultat est un ensemble de poses de caméra, souvent des paramètres intrinsèques et une distorsion d'objectif affinés, et un nuage de points épars de points caractéristiques triangulés. Avec une seule caméra en mouvement, la reconstruction n'est définie qu'à une échelle, une rotation et une translation globales près, de sorte que l'échelle métrique doit provenir d'une distance connue, d'une mire d'étalonnage, du GNSS ou d'un autre capteur.

Une chaîne incrémentale typique, telle qu'implémentée dans COLMAP (Schönberger et Frahm, 2016), détecte dans chaque image des caractéristiques locales comme SIFT, les apparie entre paires d'images et ne conserve que les appariements cohérents avec un modèle géométrique à deux vues, une matrice essentielle ou fondamentale ou une homographie, estimé avec RANSAC. Elle s'initialise à partir d'une paire d'images bien choisie, puis enregistre de façon répétée une nouvelle image en résolvant un problème perspective-n-point par rapport aux points déjà triangulés, triangule de nouveaux points et lance un ajustement de faisceaux pour affiner conjointement les poses, les paramètres intrinsèques et les points. Les méthodes de SfM globale estiment au contraire toutes les rotations et translations des caméras en une fois à partir des relations par paires, puis les affinent, ce qui est plus rapide sur de grands ensembles d'images mais plus sensible aux faux appariements.

La SfM et le SLAM visuel résolvent des problèmes étroitement liés avec les mêmes briques, mais la SfM est généralement hors ligne et par lots : les images peuvent être non ordonnées, prises par des caméras différentes et traitées sans limite de temps, ce qui permet un appariement exhaustif et une optimisation globale répétée. Le SLAM doit fonctionner de façon incrémentale, en temps réel, sur un flux séquentiel. L'ajustement de faisceaux est l'étape d'optimisation au sein de la SfM, pas la chaîne entière. La SfM peine face aux surfaces sans texture, aux motifs répétitifs, aux objets réfléchissants ou en mouvement et au flou de bougé, qui corrompent tous l'appariement des caractéristiques. Ses poses sont le point de départ standard de la stéréo multivue dense, des champs de radiance neuronaux et du Gaussian Splatting.

Pourquoi c'est important

La SfM est le moyen par lequel les équipes de robotique transforment des photos ou des vidéos en poses de caméra étalonnées et en modèle 3D d'un lieu réel. Ces poses alimentent la photogrammétrie, les reconstructions NeRF et par Gaussian Splatting, ainsi que de nombreuses chaînes Sim-to-Real qui reconstruisent une scène réelle en simulation. Connaître ses hypothèses explique la plupart des échecs de reconstruction.

Applications principales

  • Récupération des poses de caméra pour les champs de radiance neuronaux et le Gaussian Splatting
  • Photogrammétrie et numérisation 3D d'objets et de sites
  • Reconstruction de scènes réelles sous forme d'environnements de simulation
  • Cartographie aérienne et inspection par drone
  • Construction de cartes visuelles dans lesquelles les robots se localisent ensuite
  • Trajectoires de référence pour évaluer l'odométrie visuelle et le SLAM

En pratique

Pour construire une simulation d'une pièce réelle afin d'entraîner un robot mobile, un ingénieur filme une visite lente de la pièce, extrait quelques centaines d'images nettes et lance COLMAP avec un seul modèle de caméra partagé, puisqu'une seule caméra a pris toutes les images. Il recherche dans le résultat les images qui n'ont pas pu être enregistrées, souvent celles tournées vers un mur nu, ainsi qu'une reconstruction dédoublée ou courbée, signe que des caractéristiques répétées comme des portes de placard identiques ont été appariées au mauvais endroit. Pour fixer l'échelle, il place dans la pièce quelques marqueurs fiduciaires de taille connue, ou mesure une distance et remet le modèle à l'échelle. Les poses et paramètres intrinsèques retrouvés alimentent ensuite une reconstruction par champ de radiance neuronal ou par Gaussian Splatting qui rend des vues de caméra pour l'entraînement du robot.

Idées reçues

  • La SfM fournit des modèles 3D métriques — la SfM monoculaire ne retrouve la géométrie qu'à un facteur d'échelle près ; l'échelle métrique exige une référence externe
  • La SfM et le SLAM sont la même chose — ils partagent des composants, mais la SfM fonctionne généralement hors ligne sur des images non ordonnées tandis que le SLAM fonctionne de façon incrémentale en temps réel
  • La SfM est la même chose que l'ajustement de faisceaux — l'ajustement de faisceaux est l'étape d'affinage ; la SfM couvre aussi l'appariement des caractéristiques, la vérification géométrique, l'initialisation, l'enregistrement et la triangulation
  • La SfM produit un modèle dense — le résultat standard est un nuage de points épars de caractéristiques appariées ; les surfaces denses viennent ensuite de la stéréo multivue ou de la reconstruction neuronale

Qui devrait le savoir

  • Ingénieurs en perception et en cartographie
  • Chercheurs qui construisent des scènes NeRF ou par Gaussian Splatting
  • Équipes de cartographie et d'inspection par drone
  • Ingénieurs Sim-to-Real qui reconstruisent des environnements réels

Technologies associées

  • COLMAP
  • Caractéristiques SIFT
  • Stéréo multivue (Multi-View Stereo)
  • OpenMVG
  • Photogrammétrie (Photogrammetry)
  • Matrice essentielle (Essential Matrix)

Termes associés

  • Bundle Adjustment
  • Camera Intrinsics
  • SLAM
  • Neural Radiance Field
  • 3D Gaussian Splatting
  • Perspective-n-Point

Projets associés

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
  • OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
  • RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)

Vidéos

  • Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
  • Structure from Motion Octocopter - Computerphile: Computerphile

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.