Structure from Motion
- Auch genannt: SfM
- Kategorie: State estimation & navigation › Localisation
- Schlagwörter: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping
Rekonstruktion der Kameraposen und einer dünn besetzten 3D-Punktwolke einer Szene aus einer Menge sich überlappender Bilder, indem Merkmale über Ansichten hinweg zugeordnet und alles mit Bündelblockausgleichung verfeinert wird.
Definition
Structure from Motion (SfM) schätzt aus einer Sammlung sich überlappender Fotos die 3D-Struktur einer Szene und die Kamerapose für jedes Bild. Über die Bilder hinaus ist streng genommen nichts erforderlich, bekannte intrinsische Kameraparameter helfen jedoch. Das Ergebnis ist eine Menge von Kameraposen, oft verfeinerte intrinsische Parameter und Linsenverzeichnung sowie eine dünn besetzte Punktwolke triangulierter Merkmalspunkte. Mit einer einzigen bewegten Kamera ist die Rekonstruktion nur bis auf einen globalen Maßstab, eine Rotation und eine Translation bestimmt, sodass der metrische Maßstab aus einer bekannten Entfernung, einem Kalibriertarget, GNSS oder einem anderen Sensor kommen muss.
Eine typische inkrementelle Pipeline, wie sie in COLMAP (Schönberger und Frahm, 2016) implementiert ist, erkennt in jedem Bild lokale Merkmale wie SIFT, ordnet sie zwischen Bildpaaren zu und behält nur Zuordnungen, die mit einem geometrischen Zwei-Ansichten-Modell konsistent sind, einer essentiellen oder fundamentalen Matrix oder einer Homographie, geschätzt mit RANSAC. Sie initialisiert mit einem gut gewählten Bildpaar und registriert dann wiederholt ein neues Bild, indem sie ein Perspective-n-Point-Problem gegen bereits triangulierte Punkte löst, trianguliert neue Punkte und führt eine Bündelblockausgleichung durch, um Posen, intrinsische Parameter und Punkte gemeinsam zu verfeinern. Globale SfM-Verfahren schätzen stattdessen alle Kamerarotationen und -translationen auf einmal aus den paarweisen Beziehungen und verfeinern sie dann, was bei großen Bildmengen schneller, aber empfindlicher gegenüber falschen Zuordnungen ist.
SfM und visuelles SLAM lösen eng verwandte Probleme mit denselben Bausteinen, doch SfM arbeitet meist offline und im Stapelbetrieb: Bilder können ungeordnet sein, von verschiedenen Kameras stammen und ohne Zeitlimit verarbeitet werden, was erschöpfendes Matching und wiederholte globale Optimierung erlaubt. SLAM muss inkrementell und in Echtzeit auf einem sequenziellen Datenstrom laufen. Die Bündelblockausgleichung ist der Optimierungsschritt innerhalb von SfM, nicht die gesamte Pipeline. SfM hat Schwierigkeiten mit texturlosen Flächen, sich wiederholenden Mustern, spiegelnden oder bewegten Objekten und Bewegungsunschärfe, die alle das Merkmalsmatching verfälschen. Seine Posen sind der übliche Ausgangspunkt für dichtes Multi-View-Stereo, Neural Radiance Fields und Gaussian Splatting.
Warum es wichtig ist
Mit SfM machen Robotikteams aus Fotos oder Videos kalibrierte Kameraposen und ein 3D-Modell eines realen Ortes. Diese Posen sind die Eingabe für Photogrammetrie, NeRF- und Gaussian-Splat-Rekonstruktionen sowie für viele Sim-to-Real-Pipelines, die eine reale Szene in der Simulation nachbauen. Wer seine Annahmen kennt, kann die meisten Rekonstruktionsfehler erklären.
Wichtige Anwendungen
- Bestimmung von Kameraposen für Neural Radiance Fields und Gaussian Splatting
- Photogrammetrie und 3D-Scannen von Objekten und Standorten
- Nachbau realer Szenen als Simulationsumgebungen
- Luftbildkartierung und Inspektion mit Drohnen
- Aufbau visueller Karten, in denen sich Roboter später lokalisieren
- Referenztrajektorien zur Bewertung von visueller Odometrie und SLAM
In der Praxis
Um eine Simulation eines realen Raums für das Training eines mobilen Roboters zu erstellen, nimmt ein Ingenieur ein Video eines langsamen Rundgangs auf, extrahiert einige hundert scharfe Einzelbilder und führt COLMAP mit einem einzigen gemeinsamen Kameramodell aus, weil eine Kamera alle Bilder aufgenommen hat. Er prüft das Ergebnis auf Bilder, die nicht registriert werden konnten, oft Bilder vor einer leeren Wand, und auf eine doppelte oder verbogene Rekonstruktion, ein Zeichen dafür, dass sich wiederholende Merkmale wie identische Schranktüren an der falschen Stelle zugeordnet wurden. Um den Maßstab festzulegen, platziert er einige Passermarken bekannter Größe im Raum oder misst eine Entfernung und skaliert das Modell neu. Die rekonstruierten Posen und intrinsischen Parameter fließen dann in eine Neural-Radiance-Field- oder Gaussian-Splat-Rekonstruktion, die Kameraansichten für das Training des Roboters rendert.
Häufige Missverständnisse
- SfM liefert metrische 3D-Modelle — monokulares SfM rekonstruiert die Geometrie nur bis auf den Maßstab; ein metrischer Maßstab braucht eine externe Referenz
- SfM und SLAM sind dasselbe — sie teilen Komponenten, aber SfM läuft typischerweise offline über ungeordnete Bilder, während SLAM inkrementell in Echtzeit läuft
- SfM ist dasselbe wie Bündelblockausgleichung — die Bündelblockausgleichung ist der Verfeinerungsschritt; SfM umfasst auch Merkmalsmatching, geometrische Verifikation, Initialisierung, Registrierung und Triangulation
- SfM erzeugt ein dichtes Modell — das Standardergebnis ist eine dünn besetzte Punktwolke zugeordneter Merkmale; dichte Oberflächen entstehen danach durch Multi-View-Stereo oder neuronale Rekonstruktion
Wer das wissen sollte
- Ingenieure für Wahrnehmung und Kartierung
- Forschende, die NeRF- oder Gaussian-Splat-Szenen erstellen
- Teams für Drohnenkartierung und -inspektion
- Sim-to-Real-Ingenieure, die reale Umgebungen nachbauen
Verwandte Technologien
- COLMAP
- SIFT-Merkmale
- Multi-View-Stereo
- OpenMVG
- Photogrammetrie (Photogrammetry)
- Essentielle Matrix (Essential Matrix)
Verwandte Begriffe
Verwandte Projekte
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)
Videos
- Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
- Structure from Motion Octocopter - Computerphile: Computerphile