Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Structure from Motion

  • Também chamado: SfM
  • Categoria: State estimation & navigation › Localisation
  • Tags: computer-vision, 3d-reconstruction, camera-pose, photogrammetry, mapping

Recuperar as poses da câmera e uma nuvem de pontos 3D esparsa de uma cena a partir de um conjunto de imagens sobrepostas, fazendo a correspondência de características entre vistas e refinando tudo com bundle adjustment.

Definição

O Structure from Motion (SfM) estima a estrutura 3D de uma cena e a pose da câmera em cada imagem a partir de uma coleção de fotografias sobrepostas. Nada além das imagens é estritamente necessário, embora conhecer os parâmetros intrínsecos da câmera ajude. O resultado é um conjunto de poses de câmera, muitas vezes parâmetros intrínsecos e distorção da lente refinados, e uma nuvem de pontos esparsa de pontos característicos triangulados. Com uma única câmera em movimento, a reconstrução fica definida apenas a menos de uma escala, uma rotação e uma translação globais, por isso a escala métrica precisa vir de uma distância conhecida, de um alvo de calibração, de GNSS ou de outro sensor.

Um pipeline incremental típico, como o implementado no COLMAP (Schönberger e Frahm, 2016), detecta características locais como SIFT em cada imagem, faz a correspondência entre pares de imagens e mantém apenas as correspondências coerentes com um modelo geométrico de duas vistas, uma matriz essencial ou fundamental ou uma homografia, estimado com RANSAC. Ele é inicializado a partir de um par de imagens bem escolhido e, em seguida, registra repetidamente uma nova imagem resolvendo um problema de perspectiva de n pontos (perspective-n-point) em relação aos pontos já triangulados, triangula novos pontos e executa o bundle adjustment para refinar em conjunto as poses, os parâmetros intrínsecos e os pontos. Os métodos de SfM global, por sua vez, estimam todas as rotações e translações das câmeras de uma vez a partir das relações entre pares e depois as refinam, o que é mais rápido em grandes conjuntos de imagens, mas mais sensível a correspondências erradas.

O SfM e o SLAM visual resolvem problemas intimamente relacionados com os mesmos blocos, mas o SfM costuma ser offline e em lote: as imagens podem estar desordenadas, ter sido tiradas por câmeras diferentes e ser processadas sem limite de tempo, o que permite correspondência exaustiva e otimização global repetida. O SLAM precisa rodar de forma incremental, em tempo real, sobre um fluxo sequencial. O bundle adjustment é a etapa de otimização dentro do SfM, não o pipeline inteiro. O SfM tem dificuldades com superfícies sem textura, padrões repetitivos, objetos reflexivos ou em movimento e borrão de movimento, que corrompem a correspondência de características. Suas poses são o ponto de partida padrão para estéreo multivista denso, campos de radiância neurais e Gaussian splatting.

Por que importa

O SfM é a forma como as equipes de robótica transformam fotos ou vídeo em poses de câmera calibradas e em um modelo 3D de um lugar real. Essas poses são a entrada da fotogrametria, das reconstruções com NeRF e Gaussian splats e de muitos pipelines sim-to-real que reconstroem uma cena real em simulação. Conhecer suas suposições explica a maioria das falhas de reconstrução.

Principais aplicações

  • Recuperação das poses de câmera para campos de radiância neurais e Gaussian splatting
  • Fotogrametria e escaneamento 3D de objetos e locais
  • Reconstrução de cenas reais como ambientes de simulação
  • Mapeamento e inspeção aéreos com drones
  • Construção de mapas visuais nos quais os robôs depois se localizam
  • Trajetórias de referência para avaliar odometria visual e SLAM

Na prática

Para construir uma simulação de uma sala real para treinar um robô móvel, um engenheiro grava um vídeo percorrendo-a devagar, extrai algumas centenas de quadros nítidos e roda o COLMAP com um único modelo de câmera compartilhado, porque uma só câmera fez todos os quadros. Ele inspeciona o resultado em busca de imagens que não foram registradas, muitas vezes quadros voltados para uma parede vazia, e de uma reconstrução duplicada ou curvada, sinal de que características repetidas, como portas de armário idênticas, foram associadas ao lugar errado. Para fixar a escala, ele coloca na sala alguns marcadores fiduciais de tamanho conhecido, ou mede uma distância e reescala o modelo. As poses e os parâmetros intrínsecos recuperados alimentam então uma reconstrução com campos de radiância neurais ou Gaussian splats que renderiza vistas de câmera para o treinamento do robô.

Equívocos comuns

  • O SfM fornece modelos 3D métricos — o SfM monocular recupera a geometria apenas a menos de um fator de escala; a escala métrica precisa de uma referência externa
  • SfM e SLAM são a mesma coisa — eles compartilham componentes, mas o SfM normalmente é offline sobre imagens desordenadas, enquanto o SLAM roda de forma incremental em tempo real
  • SfM é o mesmo que bundle adjustment — o bundle adjustment é a etapa de refinamento; o SfM também abrange correspondência de características, verificação geométrica, inicialização, registro e triangulação
  • O SfM produz um modelo denso — o resultado padrão é uma nuvem de pontos esparsa de características correspondidas; as superfícies densas vêm depois, de estéreo multivista ou de reconstrução neural

Quem deve saber

  • Engenheiros de percepção e mapeamento
  • Pesquisadores que constroem cenas com NeRF ou Gaussian splats
  • Equipes de mapeamento e inspeção com drones
  • Engenheiros de sim-to-real que reconstroem ambientes reais

Tecnologias relacionadas

  • COLMAP
  • Características SIFT (SIFT Features)
  • Estéreo multivista (Multi-View Stereo)
  • OpenMVG
  • Fotogrametria (Photogrammetry)
  • Matriz essencial (Essential Matrix)

Termos relacionados

  • Bundle Adjustment
  • Camera Intrinsics
  • SLAM
  • Neural Radiance Field
  • 3D Gaussian Splatting
  • Perspective-n-Point

Projetos relacionados

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
  • OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
  • RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)

Vídeos

  • Structure from Motion Problem | Structure from Motion: First Principles of Computer Vision
  • Structure from Motion Octocopter - Computerphile: Computerphile

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.