Structure from Motion
- Também chamado: SfM
- Categoria: State estimation & navigation › Localisation
- Tags: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping
Recuperar as poses da câmera e uma nuvem de pontos 3D esparsa de uma cena a partir de um conjunto de imagens sobrepostas, fazendo a correspondência de características entre vistas e refinando tudo com bundle adjustment.
Definição
O Structure from Motion (SfM) estima a estrutura 3D de uma cena e a pose da câmera em cada imagem a partir de uma coleção de fotografias sobrepostas. Nada além das imagens é estritamente necessário, embora conhecer os parâmetros intrínsecos da câmera ajude. O resultado é um conjunto de poses de câmera, muitas vezes parâmetros intrínsecos e distorção da lente refinados, e uma nuvem de pontos esparsa de pontos característicos triangulados. Com uma única câmera em movimento, a reconstrução fica definida apenas a menos de uma escala, uma rotação e uma translação globais, por isso a escala métrica precisa vir de uma distância conhecida, de um alvo de calibração, de GNSS ou de outro sensor.
Um pipeline incremental típico, como o implementado no COLMAP (Schönberger e Frahm, 2016), detecta características locais como SIFT em cada imagem, faz a correspondência entre pares de imagens e mantém apenas as correspondências coerentes com um modelo geométrico de duas vistas, uma matriz essencial ou fundamental ou uma homografia, estimado com RANSAC. Ele é inicializado a partir de um par de imagens bem escolhido e, em seguida, registra repetidamente uma nova imagem resolvendo um problema de perspectiva de n pontos (perspective-n-point) em relação aos pontos já triangulados, triangula novos pontos e executa o bundle adjustment para refinar em conjunto as poses, os parâmetros intrínsecos e os pontos. Os métodos de SfM global, por sua vez, estimam todas as rotações e translações das câmeras de uma vez a partir das relações entre pares e depois as refinam, o que é mais rápido em grandes conjuntos de imagens, mas mais sensível a correspondências erradas.
O SfM e o SLAM visual resolvem problemas intimamente relacionados com os mesmos blocos, mas o SfM costuma ser offline e em lote: as imagens podem estar desordenadas, ter sido tiradas por câmeras diferentes e ser processadas sem limite de tempo, o que permite correspondência exaustiva e otimização global repetida. O SLAM precisa rodar de forma incremental, em tempo real, sobre um fluxo sequencial. O bundle adjustment é a etapa de otimização dentro do SfM, não o pipeline inteiro. O SfM tem dificuldades com superfícies sem textura, padrões repetitivos, objetos reflexivos ou em movimento e borrão de movimento, que corrompem a correspondência de características. Suas poses são o ponto de partida padrão para estéreo multivista denso, campos de radiância neurais e Gaussian splatting.
Por que importa
O SfM é a forma como as equipes de robótica transformam fotos ou vídeo em poses de câmera calibradas e em um modelo 3D de um lugar real. Essas poses são a entrada da fotogrametria, das reconstruções com NeRF e Gaussian splats e de muitos pipelines sim-to-real que reconstroem uma cena real em simulação. Conhecer suas suposições explica a maioria das falhas de reconstrução.
Principais aplicações
- Recuperação das poses de câmera para campos de radiância neurais e Gaussian splatting
- Fotogrametria e escaneamento 3D de objetos e locais
- Reconstrução de cenas reais como ambientes de simulação
- Mapeamento e inspeção aéreos com drones
- Construção de mapas visuais nos quais os robôs depois se localizam
- Trajetórias de referência para avaliar odometria visual e SLAM
Na prática
Para construir uma simulação de uma sala real para treinar um robô móvel, um engenheiro grava um vídeo percorrendo-a devagar, extrai algumas centenas de quadros nítidos e roda o COLMAP com um único modelo de câmera compartilhado, porque uma só câmera fez todos os quadros. Ele inspeciona o resultado em busca de imagens que não foram registradas, muitas vezes quadros voltados para uma parede vazia, e de uma reconstrução duplicada ou curvada, sinal de que características repetidas, como portas de armário idênticas, foram associadas ao lugar errado. Para fixar a escala, ele coloca na sala alguns marcadores fiduciais de tamanho conhecido, ou mede uma distância e reescala o modelo. As poses e os parâmetros intrínsecos recuperados alimentam então uma reconstrução com campos de radiância neurais ou Gaussian splats que renderiza vistas de câmera para o treinamento do robô.
Equívocos comuns
- O SfM fornece modelos 3D métricos — o SfM monocular recupera a geometria apenas a menos de um fator de escala; a escala métrica precisa de uma referência externa
- SfM e SLAM são a mesma coisa — eles compartilham componentes, mas o SfM normalmente é offline sobre imagens desordenadas, enquanto o SLAM roda de forma incremental em tempo real
- SfM é o mesmo que bundle adjustment — o bundle adjustment é a etapa de refinamento; o SfM também abrange correspondência de características, verificação geométrica, inicialização, registro e triangulação
- O SfM produz um modelo denso — o resultado padrão é uma nuvem de pontos esparsa de características correspondidas; as superfícies densas vêm depois, de estéreo multivista ou de reconstrução neural
Quem deve saber
- Engenheiros de percepção e mapeamento
- Pesquisadores que constroem cenas com NeRF ou Gaussian splats
- Equipes de mapeamento e inspeção com drones
- Engenheiros de sim-to-real que reconstroem ambientes reais
Tecnologias relacionadas
- COLMAP
- Características SIFT (SIFT Features)
- Estéreo multivista (Multi-View Stereo)
- OpenMVG
- Fotogrametria (Photogrammetry)
- Matriz essencial (Essential Matrix)
Termos relacionados
Projetos relacionados
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)
Vídeos
- Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
- Structure from Motion Octocopter - Computerphile: Computerphile