Truncated Signed Distance Function
- Também chamado: TSDF, truncated signed distance field
- Categoria: Sensing › 3D maps & reconstruction
- Tags: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception
Um mapa de voxels que armazena a distância com sinal até a superfície mais próxima apenas dentro de uma faixa estreita em torno dela, fundido a partir de muitas imagens de profundidade para construir modelos 3D densos.
Definição
Uma função de distância com sinal truncada (TSDF) (truncated signed distance function) representa uma superfície 3D de forma implícita sobre uma grade de voxels. Cada voxel perto da superfície armazena uma distância com sinal até ela, positiva na frente da superfície (no espaço livre visto a partir do sensor) e negativa atrás dela, e a própria superfície é o cruzamento por zero. Os valores são limitados, ou truncados, a uma faixa de poucos voxels de cada lado. Voxels distantes de qualquer superfície não guardam nenhuma distância útil, o que economiza processamento e evita corromper regiões distantes com medições ruidosas.
O método de fusão volumétrica de Curless e Levoy (1996) introduziu a atualização padrão. Para cada nova imagem de profundidade, cada voxel dentro do campo de visão da câmera é projetado na imagem, a distância ao longo do raio da câmera entre o voxel e a profundidade medida é calculada e truncada, e o resultado é incorporado a uma média móvel ponderada por voxel. Fazer a média de muitas vistas cancela o ruído do sensor e completa superfícies vistas de ângulos diferentes. O KinectFusion (Newcombe et al., 2011) mostrou isso rodando em tempo real em uma GPU com uma câmera de profundidade portátil, e sistemas posteriores como InfiniTAM e Voxblox usam hashing de voxels ou blocos alocados apenas perto das superfícies para que cenas grandes caibam na memória. Uma malha é extraída com marching cubes, ou o cruzamento por zero é encontrado por raycasting para renderização e rastreamento.
Uma TSDF está relacionada a um campo de distância com sinal (signed distance field) completo, mas não é a mesma coisa. Como as distâncias são medidas ao longo dos raios da câmera e cortadas na faixa de truncamento, elas são apenas aproximações da verdadeira distância euclidiana perto da superfície, e não dizem nada sobre o espaço longe dela. Planejadores que precisam da distância até o obstáculo mais próximo em todos os pontos, como otimizadores de trajetória baseados em gradiente, geralmente calculam um campo de distância euclidiana com sinal a partir da TSDF, como faz o Voxblox. A TSDF é principalmente uma ferramenta de reconstrução e fusão, enquanto o campo completo é uma estrutura de consulta para o planejamento.
Por que importa
A fusão TSDF é a forma mais usada de transformar um fluxo de imagens de profundidade ruidosas em um modelo 3D limpo e denso. Robôs a usam para reconstruir objetos para preensão, construir mapas para navegação e produzir malhas e nuvens de pontos com normais confiáveis.
Principais aplicações
- Reconstrução 3D densa a partir de câmeras RGB-D e de profundidade
- Modelos de objetos e cenas para o planejamento de preensão
- Mapeamento para microveículos aéreos e robôs móveis
- Construção de campos de distância euclidiana para verificação de colisões
- Geração de malhas para gêmeos digitais e assets de simulação
Na prática
Um manipulador com uma câmera de profundidade montada no punho percorre uma mesa desorganizada ao longo de um arco curto, capturando cerca de 20 quadros de profundidade. A pose da câmera em cada quadro vem da cinemática direta e da calibração mão-olho. Os quadros são fundidos em uma TSDF com voxels de 3 a 5 mm e uma distância de truncamento de poucos voxels, e o cruzamento por zero é extraído como uma nuvem de pontos com normais de superfície. O planejador de preensão trabalha sobre essa nuvem fundida em vez de sobre um único quadro, o que remove buracos causados por oclusão e reduz o ruído nas bordas. Se a calibração do braço estiver errada, as superfícies fundidas aparecem duplicadas ou borradas, o que costuma ser o primeiro sinal de que a calibração extrínseca precisa ser refeita.
Equívocos comuns
- Uma TSDF e um campo de distância com sinal são a mesma coisa — uma TSDF armazena distâncias aproximadas, baseadas em raios, apenas perto das superfícies, enquanto um campo completo dá a distância até a superfície mais próxima em todos os pontos
- A fusão TSDF corrige erros de pose — ela supõe que as poses da câmera são conhecidas; poses ruins produzem superfícies duplicadas ou borradas
- Voxels menores sempre dão modelos melhores — voxels muito pequenos custam memória e cada um recebe menos medições, então o ruído pode aumentar
Quem deve saber
- Engenheiros de percepção 3D e mapeamento
- Engenheiros de manipulação que constroem modelos de cena para preensão
- Pesquisadores de SLAM e reconstrução
- Desenvolvedores de pipelines de mapeamento para robôs aéreos e móveis
Tecnologias relacionadas
- KinectFusion
- InfiniTAM
- Voxblox
- Open3D
- Marching cubes
- Hashing de voxels (Voxel Hashing)
Termos relacionados
Projetos relacionados
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)