NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

Autores: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

NGEL-SLAM combina el seguimiento y el cierre de bucle de ORB-SLAM3 con múltiples submapas neuronales basados en octree, de modo que el mapa denso se realinea rápidamente tras el cierre de bucle en lugar de reentrenarse.

Por qué importa

Los robots que construyen mapas densos de grandes zonas interiores necesitan que esos mapas se mantengan consistentes tras el cierre de bucle y que incorporen rápidamente nuevos fotogramas clave. Mantener el seguimiento en un sistema basado en características y dividir el mapa neuronal en submapas anclados ofrece ambas cosas sin reentrenar todo el mapa.

Problema

Los sistemas de SLAM implícito neuronal como iMAP y NICE-SLAM ofrecen geometría densa, pero realizan el seguimiento a través del mapa neuronal, que no tiene cierre de bucle y pierde la consistencia global en escenas grandes. Sustituir el rastreador por uno tradicional no lo resuelve, porque reentrenar un mapa único de la escena tras las actualizaciones de pose del cierre de bucle es lento, y la lenta convergencia de la red de mapeo también impide un mapeo de baja latencia.

Solución propuesta

ORB-SLAM3 se encarga del seguimiento, el ajuste de haces local y el cierre de bucle, mientras que la escena se almacena como varios submapas implícitos neuronales locales, cada uno anclado a un fotograma clave. Tras el ajuste de haces global, los submapas se desplazan primero con las poses de sus anclas en tiempo real y después se ajustan finamente; cada submapa almacena características multinivel en un octree disperso con pequeños decodificadores MLP de ocupación y color para una convergencia rápida. Las imágenes se renderizan eligiendo, para cada píxel, el submapa con la menor incertidumbre de varianza de ocupación.

Ideas clave

• Representar la escena como submapas anclados permite aplicar las correcciones del cierre de bucle actualizando las poses de los submapas, lo que elimina la mayor parte del error del mapa sin reentrenamiento; el ajuste fino elimina después los pequeños errores restantes.
• El seguimiento basado en características con cierre de bucle (ORB-SLAM3) fue más preciso en TUM RGB-D que el seguimiento a través del mapa neuronal.
• Un octree disperso solo crece donde el espacio está ocupado, por lo que ahorra memoria frente a las rejillas densas de vóxeles manteniendo una convergencia rápida; mapear solo los fotogramas clave reduce además los fotogramas de mapeo y la E/S de datos.
• La varianza de ocupación renderizada se correlaciona positivamente con el error de profundidad y negativamente con el PSNR, por lo que sirve como criterio para elegir qué submapa renderiza cada píxel.

Resultados principales

• Replica (8 escenas), renderizado con poses estimadas: profundidad L1 0,65 cm, PSNR 30,44, SSIM 0,876, LPIPS 0,151, frente a 2,28 cm, 29,25, 0,855 y 0,190 de ESLAM; con poses reales (ground truth): 1,28 cm, 29,53, 0,864 y 0,156 frente a 2,81 cm, 27,33, 0,836 y 0,204 de ESLAM.
• Seguimiento en TUM RGB-D (ATE RMSE): 1,5 cm en fr1/desk, 0,5 cm en fr2/xyz y 1,0 cm en fr3/office, frente a 2,5, 1,1 y 2,4 cm de ESLAM.
• Seguimiento en ScanNet (6 escenas): ATE RMSE medio de 7,44 cm frente a 7,50 cm de ESLAM, 9,63 cm de NICE-SLAM y 36,67 cm de iMAP; el menor error en 3 de las 6 escenas.
• Tiempo de mapeo por iteración: 14 ms frente a 19 ms (ESLAM), 130 ms (NICE-SLAM) y 448 ms (iMAP), usando 120 fotogramas de mapeo en lugar de 400; el pie de la Fig. 1 lo describe como 10x más rápido que NICE-SLAM.
• Memoria: 5,32 MB frente a 6,79 MB (ESLAM), 12,02 MB (NICE-SLAM) y 1,04 MB (iMAP).
• El ajuste fino del mapa mejoró la profundidad L1 en Replica de 1,34 a 1,28 cm y el PSNR de 28,39 a 29,53.

Limitaciones

• La conclusión limita el sistema a escenas interiores, y requiere un flujo de entrada RGB-D.
• La evaluación usa solo conjuntos de datos grabados (Replica, ScanNet, TUM RGB-D y la secuencia de apartamento de NICE-SLAM); no se informa de ningún despliegue en robot ni con sensores en vivo.
• En ScanNet no tiene el menor error en tres de las seis escenas (0106, 0181, 0207), y su margen medio sobre ESLAM es de 0,06 cm.
• iMAP usa menos memoria (1,04 MB frente a 5,32 MB) porque almacena la escena en un único MLP.
• La segunda etapa del tratamiento del cierre de bucle, el ajuste fino de los submapas, funciona por debajo del tiempo real.

Impacto en el campo

Ganador del IEEE ICRA 2024 Best Paper Award in Robot Vision, con 40 citas. El artículo no da ningún enlace al código ni al proyecto.

Resumen

Las representaciones implícitas neuronales han surgido como una solución prometedora para proporcionar geometría densa en la localización y mapeo simultáneos (SLAM). Sin embargo, los métodos existentes en esta línea se quedan cortos en cuanto a consistencia global y baja latencia. Este artículo presenta NGEL-SLAM para abordar estos retos. Para garantizar la consistencia global, nuestro sistema aprovecha un módulo de seguimiento tradicional basado en características que incorpora cierre de bucle. Además, mantenemos un mapa globalmente consistente representando la escena mediante múltiples campos implícitos neuronales, lo que permite un ajuste rápido ante el cierre de bucle. Asimismo, nuestro sistema permite una convergencia rápida gracias al uso de representaciones implícitas basadas en octree. La combinación de una respuesta rápida al cierre de bucle y una convergencia rápida hace de nuestro sistema un sistema verdaderamente de baja latencia que logra consistencia global. Nuestro sistema permite renderizar imágenes RGB-D de alta fidelidad, además de extraer superficies densas y completas. Los experimentos con conjuntos de datos tanto sintéticos como del mundo real sugieren que nuestro sistema alcanza una precisión de seguimiento y de mapeo del estado del arte manteniendo una baja latencia.

Enlaces

• arXiv 2311.09525: https://arxiv.org/abs/2311.09525
• DOI 10.1109/ICRA57147.2024.10611269: https://doi.org/10.1109/ICRA57147.2024.10611269
• PDF: https://arxiv.org/pdf/2311.09525v1