Truncated Signed Distance Function
- También llamado: TSDF, truncated signed distance field
- Categoría: Sensing › 3D maps & reconstruction
- Etiquetas: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception
Un mapa de vóxeles que almacena la distancia con signo a la superficie más cercana solo dentro de una banda estrecha a su alrededor, fusionado a partir de muchas imágenes de profundidad para construir modelos 3D densos.
Definición
Una función de distancia con signo truncada (TSDF) (truncated signed distance function) representa una superficie 3D de forma implícita sobre una rejilla de vóxeles. Cada vóxel cercano a la superficie almacena una distancia con signo hasta ella, positiva delante de la superficie (en el espacio libre visto desde el sensor) y negativa detrás, y la superficie en sí es el cruce por cero. Los valores se recortan, o truncan, a una banda de unos pocos vóxeles a cada lado. Los vóxeles alejados de cualquier superficie no guardan ninguna distancia útil, lo que ahorra cálculo y evita corromper regiones lejanas con mediciones ruidosas.
El método de fusión volumétrica de Curless y Levoy (1996) introdujo la actualización estándar. Para cada nueva imagen de profundidad, cada vóxel dentro del campo de visión de la cámara se proyecta en la imagen, se calcula y se trunca la distancia a lo largo del rayo de la cámara entre el vóxel y la profundidad medida, y el resultado se incorpora a una media móvil ponderada por vóxel. Promediar muchas vistas cancela el ruido del sensor y completa superficies vistas desde distintos ángulos. KinectFusion (Newcombe et al., 2011) mostró esto funcionando en tiempo real en una GPU con una cámara de profundidad de mano, y sistemas posteriores como InfiniTAM y Voxblox usan hashing de vóxeles o bloques asignados solo cerca de las superficies para que escenas grandes quepan en memoria. Se extrae una malla con marching cubes, o se localiza el cruce por cero mediante raycasting para el renderizado y el seguimiento.
Una TSDF está relacionada con un campo de distancia con signo (signed distance field) completo, pero no es lo mismo. Como las distancias se miden a lo largo de los rayos de la cámara y se cortan en la banda de truncamiento, solo son aproximaciones de la verdadera distancia euclídea cerca de la superficie, y no dicen nada del espacio alejado de ella. Los planificadores que necesitan la distancia al obstáculo más cercano en todas partes, como los optimizadores de trayectorias basados en gradiente, suelen calcular un campo de distancia euclídea con signo a partir de la TSDF, como hace Voxblox. La TSDF es sobre todo una herramienta de reconstrucción y fusión, mientras que el campo completo es una estructura de consulta para la planificación.
Por qué importa
La fusión TSDF es la forma más usada de convertir un flujo de imágenes de profundidad ruidosas en un modelo 3D limpio y denso. Los robots la usan para reconstruir objetos para el agarre, construir mapas para la navegación y producir mallas y nubes de puntos con normales fiables.
Aplicaciones clave
- Reconstrucción 3D densa a partir de cámaras RGB-D y cámaras de profundidad
- Modelos de objetos y escenas para la planificación de agarre
- Mapeo para microvehículos aéreos y robots móviles
- Construcción de campos de distancia euclídea para la comprobación de colisiones
- Generación de mallas para gemelos digitales y recursos de simulación
En la práctica
Un manipulador con una cámara de profundidad montada en la muñeca recorre una mesa desordenada siguiendo un arco corto y captura unas 20 imágenes de profundidad. La pose de la cámara de cada imagen se obtiene de la cinemática directa y de la calibración mano-ojo. Las imágenes se fusionan en una TSDF con vóxeles de 3 a 5 mm y una distancia de truncamiento de unos pocos vóxeles, y el cruce por cero se extrae como una nube de puntos con normales de superficie. El planificador de agarres trabaja sobre esta nube fusionada en lugar de sobre una sola imagen, lo que elimina huecos por oclusión y reduce el ruido en los bordes. Si la calibración del brazo es incorrecta, las superficies fusionadas aparecen duplicadas o borrosas, que suele ser la primera señal de que hay que repetir la calibración extrínseca.
Ideas erróneas comunes
- Una TSDF y un campo de distancia con signo son lo mismo — una TSDF almacena distancias aproximadas, basadas en rayos, solo cerca de las superficies, mientras que un campo completo da la distancia a la superficie más cercana en todas partes
- La fusión TSDF corrige los errores de pose — supone que las poses de la cámara son conocidas; las poses malas producen superficies duplicadas o borrosas
- Los vóxeles más pequeños siempre dan mejores modelos — los vóxeles muy pequeños cuestan memoria y cada uno recibe menos mediciones, así que el ruido puede aumentar
Quién debería saberlo
- Ingenieros de percepción 3D y mapeo
- Ingenieros de manipulación que construyen modelos de escena para el agarre
- Investigadores de SLAM y reconstrucción
- Desarrolladores de pipelines de mapeo para robots aéreos y móviles
Tecnologías relacionadas
- KinectFusion
- InfiniTAM
- Voxblox
- Open3D
- Marching cubes
- Hashing de vóxeles (Voxel Hashing)
Términos relacionados
Proyectos relacionados
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)