Structure from Motion
- Detto anche: SfM
- Categoria: State estimation & navigation › Localisation
- Tag: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping
Ricavare le pose della telecamera e una nuvola di punti 3D sparsa di una scena da un insieme di immagini sovrapposte, accoppiando le feature tra le viste e raffinando tutto con il bundle adjustment.
Definizione
La Structure from Motion (SfM) stima la struttura 3D di una scena e la posa della telecamera per ogni immagine a partire da una raccolta di fotografie sovrapposte. Non serve strettamente nulla oltre alle immagini, anche se conoscere i parametri intrinseci della telecamera aiuta. Il risultato è un insieme di pose della telecamera, spesso parametri intrinseci e distorsione dell'obiettivo raffinati, e una nuvola di punti sparsa di punti caratteristici triangolati. Con una sola telecamera in movimento la ricostruzione è definita solo a meno di una scala, una rotazione e una traslazione globali, per cui la scala metrica deve provenire da una distanza nota, da un bersaglio di calibrazione, dal GNSS o da un altro sensore.
Una tipica pipeline incrementale, come quella implementata in COLMAP (Schönberger e Frahm, 2016), rileva feature locali come SIFT in ogni immagine, le accoppia tra coppie di immagini e conserva solo le corrispondenze coerenti con un modello geometrico a due viste, una matrice essenziale o fondamentale oppure un'omografia, stimato con RANSAC. Si inizializza da una coppia di immagini ben scelta, poi registra ripetutamente una nuova immagine risolvendo un problema perspective-n-point rispetto ai punti già triangolati, triangola nuovi punti ed esegue il bundle adjustment per raffinare congiuntamente pose, parametri intrinseci e punti. I metodi di SfM globale, invece, stimano tutte le rotazioni e traslazioni delle telecamere in una volta a partire dalle relazioni tra coppie e poi le raffinano, il che è più veloce su grandi insiemi di immagini ma più sensibile alle corrispondenze errate.
La SfM e la SLAM visiva risolvono problemi strettamente correlati con gli stessi elementi di base, ma la SfM è di solito offline e a lotti: le immagini possono essere non ordinate, scattate da telecamere diverse ed elaborate senza limiti di tempo, il che consente un accoppiamento esaustivo e un'ottimizzazione globale ripetuta. La SLAM deve funzionare in modo incrementale, in tempo reale, su un flusso sequenziale. Il bundle adjustment è il passo di ottimizzazione all'interno della SfM, non l'intera pipeline. La SfM ha difficoltà con superfici prive di texture, motivi ripetitivi, oggetti riflettenti o in movimento e il mosso, che compromettono l'accoppiamento delle feature. Le sue pose sono il punto di partenza standard per lo stereo multivista denso, i Neural Radiance Field e il Gaussian splatting.
Perché è importante
La SfM è il modo in cui i gruppi di robotica trasformano foto o video in pose della telecamera calibrate e in un modello 3D di un luogo reale. Quelle pose sono l'ingresso della fotogrammetria, delle ricostruzioni con NeRF e Gaussian splat e di molte pipeline sim-to-real che ricostruiscono una scena reale in simulazione. Conoscerne le ipotesi spiega la maggior parte dei fallimenti di ricostruzione.
Applicazioni principali
- Recupero delle pose della telecamera per Neural Radiance Field e Gaussian splatting
- Fotogrammetria e scansione 3D di oggetti e siti
- Ricostruzione di scene reali come ambienti di simulazione
- Mappatura e ispezione aerea con droni
- Costruzione di mappe visive rispetto alle quali i robot si localizzano in seguito
- Traiettorie di riferimento per valutare l'odometria visiva e la SLAM
In pratica
Per costruire una simulazione di una stanza reale in cui addestrare un robot mobile, un ingegnere registra un video percorrendola lentamente, estrae alcune centinaia di fotogrammi nitidi ed esegue COLMAP con un unico modello di telecamera condiviso, perché una sola telecamera ha ripreso tutti i fotogrammi. Esamina il risultato alla ricerca di immagini che non sono state registrate, spesso fotogrammi rivolti verso una parete vuota, e di una ricostruzione sdoppiata o piegata, segno che feature ripetute come ante di armadio identiche sono state accoppiate al posto sbagliato. Per fissare la scala, colloca nella stanza alcuni marker fiduciali di dimensione nota, oppure misura una distanza e riscala il modello. Le pose e i parametri intrinseci ricavati alimentano poi una ricostruzione con Neural Radiance Field o Gaussian splat che genera viste della telecamera per l'addestramento del robot.
Idee sbagliate comuni
- La SfM fornisce modelli 3D metrici — la SfM monoculare ricava la geometria solo a meno di un fattore di scala; la scala metrica richiede un riferimento esterno
- SfM e SLAM sono la stessa cosa — condividono componenti, ma la SfM è tipicamente offline su immagini non ordinate, mentre la SLAM funziona in modo incrementale in tempo reale
- La SfM è la stessa cosa del bundle adjustment — il bundle adjustment è il passo di raffinamento; la SfM comprende anche l'accoppiamento delle feature, la verifica geometrica, l'inizializzazione, la registrazione e la triangolazione
- La SfM produce un modello denso — il risultato standard è una nuvola di punti sparsa di feature accoppiate; le superfici dense si ottengono in seguito con lo stereo multivista o con la ricostruzione neurale
Chi dovrebbe saperlo
- Ingegneri di percezione e mappatura
- Ricercatori che costruiscono scene con NeRF o Gaussian splat
- Gruppi di mappatura e ispezione con droni
- Ingegneri sim-to-real che ricostruiscono ambienti reali
Tecnologie correlate
- COLMAP
- Feature SIFT (SIFT Features)
- Stereo multivista (Multi-View Stereo)
- OpenMVG
- Fotogrammetria (Photogrammetry)
- Matrice essenziale (Essential Matrix)
Termini correlati
Progetti correlati
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)
Video
- Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
- Structure from Motion Octocopter - Computerphile: Computerphile