H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

Autores: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un SDF grueso almacenado en un octree más un residuo codificado con hash permiten ejecutar un mapeo RGB-D al estilo NeRF a bordo de placas Jetson Orin, en un equipo portátil y en un cuadricóptero.

Por qué importa

Un robot que solo tenga un computador de clase Jetson puede construir un mapa denso con textura mientras se mueve, en lugar de reconstruirlo después fuera de línea. Como el método toma las poses de cualquier rastreador externo, puede ir detrás de una pila de odometría visual-inercial existente, como muestran los autores con un VINS-Mono modificado y una RealSense L515.

Problema

Los métodos de mapeo basados en NeRF, como NICE-SLAM y Vox-Fusion, dan mapas compactos y pueden renderizar nuevos puntos de vista, pero sus características implícitas tardan mucho en optimizarse, por lo que no pueden ejecutarse en tiempo real ni siquiera en un AGX Orin. Los mapas explícitos (rejillas de ocupación, TSDF, surfels, mallas) son rápidos, pero necesitan mucha memoria para el detalle fino y no pueden renderizar vistas nuevas realistas.

Solución propuesta

La geometría gruesa se almacena explícitamente como valores de SDF en los vértices de un octree de vóxeles disperso (vóxeles hoja de 10 cm), inicializados proyectando cada vértice en la imagen de profundidad; una codificación hash multirresolución con MLP pequeños aprende solo el SDF residual y el color. Los vóxeles se amplían cuando hay puntos sobre una arista de vóxel para que no se pierdan superficies, los fotogramas clave se eligen para cubrir tantos vóxeles aún no optimizados como sea posible, y la optimización se detiene antes de tiempo cuando la pérdida deja de mejorar.

Ideas clave

• Proyectar los vértices de los vóxeles en una sola imagen de profundidad ya da un SDF grueso utilizable, por lo que la geometría es casi correcta desde las primeras iteraciones
• Dejar que la codificación hash aprenda solo el SDF residual es más fácil que aprender el SDF completo y mejora tanto la precisión como la calidad de renderizado para el mismo número de iteraciones
• Asignar un vóxel adicional cuando todos los puntos retroproyectados caen sobre una arista de vóxel evita huecos donde un valor de SDF cercano a cero cambia de signo durante la optimización
• Seleccionar fotogramas clave que cubran el mayor número de vóxeles sin optimizar, y reiniciar cuando todos están cubiertos, mejora regiones poco vistas como los techos sin añadir muestras de entrenamiento

Resultados principales

• Replica (8 escenas, poses de referencia): Depth L1 medio de 0,42 cm frente a 0,71 cm de Vox-Fusion y 1,16 cm de NICE-SLAM; tasa de completitud (<5 cm) del 99,25 % frente al 98,55 % y el 97,09 %
• Renderizado en Replica: PSNR medio de 34,49 dB en vistas de entrenamiento y de 30,21 dB en vistas nuevas lejanas, frente a 31,48 / 27,34 dB de Vox-Fusion y 30,55 / 28,08 dB de NICE-SLAM
• Tiempo medio de procesamiento por fotograma en Replica Room0: 0,05 s en una RTX 4090, 0,36 s en AGX Orin y 0,66 s en Orin NX, frente a 0,34 / 1,68 / 3,52 s de Vox-Fusion y 2,69 / 13,01 / 19,03 s de NICE-SLAM
• Ablación (Tabla III): quitar la estrategia de fotogramas clave baja el PSNR de 34,49 a 33,65 dB y empeora la precisión de 1,12 a 1,28 cm; quitar la ampliación de vóxeles baja la tasa de completitud del 99,25 % al 98,52 %
• Ejecuciones reales completamente a bordo: un apartamento de unos 127 m² de superficie de malla mapeado con un equipo portátil con AGX Orin, y parte de una arena de vuelo de unos 58 m² mapeada con un cuadricóptero que lleva un Orin NX

Limitaciones

• Los autores afirman que el método no puede manejar objetos dinámicos
• Los autores afirman que no puede manejar la deriva de la pose a largo plazo
• Los autores afirman que aún se necesita una mayor aceleración
• Es solo un módulo de mapeo: las poses deben venir de un rastreador separado, y las comparaciones de referencia usan poses de referencia reales para todos los métodos
• Los resultados en ScanNet son solo cualitativos, porque no hay mallas de referencia disponibles para ese conjunto de datos

Impacto en el campo

Recibió el RA-L 2024 Best Paper Award y tiene 58 citas. El artículo indica que su código se publicará en github.com/SYSU-STAR/H2-Mapping.

Resumen

Construir un mapa denso de alta calidad en tiempo real es esencial para aplicaciones de robótica, AR/VR y gemelos digitales. Dado que los campos de radiancia neuronal (Neural Radiance Field, NeRF) mejoran mucho el rendimiento del mapeo, en este artículo proponemos un método de mapeo basado en NeRF que permite una reconstrucción de mayor calidad y capacidad de tiempo real incluso en computadores de borde. En concreto, proponemos una nueva representación híbrida jerárquica que aprovecha una codificación hash multirresolución implícita apoyada por priors explícitos de SDF en un octree, y que describe la escena a distintos niveles de detalle. Esta representación permite una inicialización rápida de la geometría de la escena y hace que dicha geometría sea más fácil de aprender. Además, presentamos una estrategia de selección de fotogramas clave que maximiza la cobertura para abordar el problema del olvido y mejorar la calidad del mapeo, sobre todo en las zonas marginales. Hasta donde sabemos, nuestro método es el primero que logra un mapeo basado en NeRF de alta calidad en tiempo real en los computadores de borde de dispositivos portátiles y cuadricópteros. Los experimentos demuestran que nuestro método supera a los métodos de mapeo basados en NeRF existentes en precisión geométrica, realismo de la textura y consumo de tiempo. El código se publicará en: https://github.com/SYSU-STAR/H2-Mapping

Enlaces

• arXiv 2306.03207: https://arxiv.org/abs/2306.03207
• DOI 10.1109/LRA.2023.3313051: https://doi.org/10.1109/LRA.2023.3313051
• PDF: https://arxiv.org/pdf/2306.03207v1
• Código: https://github.com/SYSU-STAR/H2-Mapping