Structure from Motion
- También llamado: SfM
- Categoría: State estimation & navigation › Localisation
- Etiquetas: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping
Recuperar las poses de la cámara y una nube de puntos 3D dispersa de una escena a partir de un conjunto de imágenes que se solapan, emparejando características entre vistas y refinándolo todo con el ajuste de haces.
Definición
Structure from Motion (SfM) estima la estructura 3D de una escena y la pose de la cámara en cada imagen a partir de una colección de fotografías que se solapan. Estrictamente no hace falta nada más que las imágenes, aunque conocer los parámetros intrínsecos de la cámara ayuda. El resultado es un conjunto de poses de cámara, a menudo parámetros intrínsecos y distorsión de la lente refinados, y una nube de puntos dispersa de puntos característicos triangulados. Con una sola cámara en movimiento, la reconstrucción queda definida solo salvo una escala, una rotación y una traslación globales, por lo que la escala métrica debe venir de una distancia conocida, un patrón de calibración, GNSS u otro sensor.
Una cadena incremental típica, como la implementada en COLMAP (Schönberger y Frahm, 2016), detecta características locales como SIFT en cada imagen, las empareja entre pares de imágenes y conserva solo los emparejamientos coherentes con un modelo geométrico de dos vistas, una matriz esencial o fundamental o una homografía, estimado con RANSAC. Se inicializa a partir de un par de imágenes bien elegido y, después, registra repetidamente una imagen nueva resolviendo un problema de perspectiva desde n puntos (perspective-n-point) frente a los puntos ya triangulados, triangula puntos nuevos y ejecuta el ajuste de haces para refinar conjuntamente las poses, los parámetros intrínsecos y los puntos. Los métodos de SfM global, en cambio, estiman todas las rotaciones y traslaciones de las cámaras a la vez a partir de las relaciones entre pares y luego las refinan, lo que es más rápido con grandes conjuntos de imágenes pero más sensible a los emparejamientos erróneos.
SfM y el SLAM visual resuelven problemas muy relacionados con los mismos componentes, pero SfM suele funcionar fuera de línea y por lotes: las imágenes pueden estar desordenadas, haber sido tomadas por cámaras distintas y procesarse sin límite de tiempo, lo que permite un emparejamiento exhaustivo y una optimización global repetida. El SLAM debe funcionar de forma incremental, en tiempo real, sobre un flujo secuencial. El ajuste de haces es el paso de optimización dentro de SfM, no la cadena completa. SfM tiene dificultades con superficies sin textura, patrones repetitivos, objetos reflectantes o en movimiento y el desenfoque de movimiento, que corrompen el emparejamiento de características. Sus poses son el punto de partida estándar para el estéreo multivista denso, los campos de radiancia neuronales y el Gaussian splatting.
Por qué importa
SfM es la forma en que los equipos de robótica convierten fotos o vídeo en poses de cámara calibradas y en un modelo 3D de un lugar real. Esas poses son la entrada de la fotogrametría, de las reconstrucciones con NeRF y Gaussian splats, y de muchas cadenas sim-to-real que reconstruyen una escena real en simulación. Conocer sus supuestos explica la mayoría de los fallos de reconstrucción.
Aplicaciones clave
- Recuperación de las poses de cámara para campos de radiancia neuronales y Gaussian splatting
- Fotogrametría y escaneo 3D de objetos y emplazamientos
- Reconstrucción de escenas reales como entornos de simulación
- Cartografía e inspección aéreas con drones
- Construcción de mapas visuales en los que los robots se localizan después
- Trayectorias de referencia para evaluar la odometría visual y el SLAM
En la práctica
Para construir una simulación de una habitación real con la que entrenar un robot móvil, un ingeniero graba un vídeo recorriéndola despacio, extrae unos cientos de fotogramas nítidos y ejecuta COLMAP con un único modelo de cámara compartido, porque una sola cámara tomó todos los fotogramas. Revisa el resultado en busca de imágenes que no se hayan registrado, a menudo fotogramas orientados hacia una pared vacía, y de una reconstrucción duplicada o doblada, señal de que características repetidas, como puertas de armario idénticas, se emparejaron con el lugar equivocado. Para fijar la escala, coloca en la habitación unos cuantos marcadores fiduciales de tamaño conocido, o mide una distancia y reescala el modelo. Las poses y los parámetros intrínsecos recuperados alimentan después una reconstrucción con campos de radiancia neuronales o Gaussian splats que genera vistas de cámara para el entrenamiento del robot.
Ideas erróneas comunes
- SfM da modelos 3D métricos — el SfM monocular recupera la geometría solo salvo un factor de escala; la escala métrica necesita una referencia externa
- SfM y SLAM son lo mismo — comparten componentes, pero SfM suele funcionar fuera de línea sobre imágenes desordenadas, mientras que el SLAM funciona de forma incremental en tiempo real
- SfM es lo mismo que el ajuste de haces — el ajuste de haces es el paso de refinamiento; SfM también abarca el emparejamiento de características, la verificación geométrica, la inicialización, el registro y la triangulación
- SfM produce un modelo denso — el resultado estándar es una nube de puntos dispersa de características emparejadas; las superficies densas se obtienen después con estéreo multivista o reconstrucción neuronal
Quién debería saberlo
- Ingenieros de percepción y de cartografía
- Investigadores que construyen escenas con NeRF o Gaussian splats
- Equipos de cartografía e inspección con drones
- Ingenieros de sim-to-real que reconstruyen entornos reales
Tecnologías relacionadas
- COLMAP
- Características SIFT (SIFT Features)
- Estéreo multivista (Multi-View Stereo)
- OpenMVG
- Fotogrametría (Photogrammetry)
- Matriz esencial (Essential Matrix)
Términos relacionados
Proyectos relacionados
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)
Vídeos
- Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
- Structure from Motion Octocopter - Computerphile: Computerphile