SuMa++: Efficient LiDAR-based Semantic SLAM

Autores: Xieyuanli Chen, Andres Milioto, Emanuele Palazzolo, Philippe Giguère, Jens Behley, Cyrill Stachniss · IROS 2019

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

SuMa++ añade a un SLAM LiDAR basado en surfels etiquetas semánticas por punto de RangeNet++ y las usa para eliminar del mapa los objetos en movimiento y para ponderar los residuos del ICP.

Por qué importa

El método solo necesita un LiDAR, sin cámara, y usa la semántica tanto para limpiar el mapa como para hacer el registro más robusto frente a valores atípicos. En KITTI también mostró que eliminar todas las clases móviles puede hacer divergir el SLAM en escenas urbanas, una advertencia concreta para quien filtre objetos dinámicos solo por clase.

Problema

Un SLAM LiDAR que se basa solo en la geometría puede engancharse a objetos que se mueven de forma consistente, lo que corrompe el mapa y la estimación de pose; las autopistas con pocas estructuras estáticas y muchos coches en movimiento son el caso más difícil. Eliminar todas las clases potencialmente móviles es una solución burda, porque también descarta coches aparcados que son características útiles para el registro de escaneos.

Solución propuesta

SuMa++ ejecuta RangeNet++ sobre una proyección esférica de cada escaneo para etiquetar cada punto, reduce los artefactos de etiqueta de la retroproyección con una erosión seguida de un relleno por inundación coherente en profundidad, y almacena en cada surfel una etiqueta y su probabilidad. Un surfel cuya etiqueta no coincide con la nueva observación recibe una penalización en sus log-odds de estabilidad y se elimina tras varias observaciones, y el ICP de fotograma a modelo pondera cada residuo con un término de Huber, la compatibilidad semántica de las etiquetas del escaneo y del mapa, y la estabilidad del surfel.

Ideas clave

• Filtrar por inconsistencia semántica entre el escaneo y el mapa elimina los objetos que realmente se movieron y conserva los coches aparcados, que son características útiles para el registro.
• Eliminar todas las clases móviles (SuMa nomovable) hizo el mapa de surfels más disperso y provocó divergencia en secuencias urbanas de KITTI, en parte porque las etiquetas erróneas eliminaron surfels estáticos.
• Una erosión seguida de un relleno por inundación (flood-fill) coherente en profundidad reduce los errores de etiqueta que surgen al proyectar de vuelta a puntos 3D las predicciones de la imagen de distancia 2D.
• Los pesos semánticos en el ICP reducen el peso de los residuos donde las etiquetas del escaneo y del mapa no coinciden, por ejemplo en coches en movimiento ya filtrados del mapa.

Resultados principales

• Secuencias de carretera de KITTI 30–41 (segmentos de 5–400 m, error de rotación en °/100 m / error de traslación en %): SuMa 1,35/6,13, SuMa nomovable 1,17/1,46, SuMa++ 1,04/1,46.
• Secuencia de autopista 35: el error de traslación bajó de 26,8 % (SuMa) a 1,11 % (SuMa++); la secuencia 40, de 18,0 % a 1,95 %; la secuencia 41, de 15,6 % a 1,67 %.
• Secuencias de entrenamiento de odometría de KITTI 00–10 (segmentos de 100–800 m): SuMa++ 0,29/0,70 frente a SuMa 0,36/0,83; IMLS-SLAM reporta un error de traslación de 0,55 % y LOAM de 0,84 %.
• Conjunto de prueba de odometría de KITTI (evaluación en el servidor): error de traslación de 1,06 % frente a 1,39 % de SuMa, con un error de rotación de 0,0032 deg/m para ambos.
• Tiempos en un Intel Xeon W-2123 con una Nvidia Quadro P4000: de media 75 ms por escaneo para las etiquetas de RangeNet++ y 48 ms para el mapeo con surfels, hasta 190 ms al integrar cierres de bucle.

Limitaciones

• Los objetos dinámicos no se pueden filtrar en la primera observación; con muchos objetos en movimiento en el primer escaneo el método falla, por lo que se eliminan todas las clases móviles durante un periodo de inicialización (limitación señalada por los autores).
• Solo se penalizan las clases móviles; la vegetación, cuyo aspecto cambia con el punto de vista, se conserva a propósito.
• Tras el relleno por inundación siguen quedando errores de segmentación, que pueden eliminar surfels que en realidad son estáticos.
• En las secuencias de carretera SuMa++ rinde de forma parecida a la línea base que elimina todas las clases móviles, y en varias secuencias (33, 36, 37, 39, 40, 41) su error de traslación es mayor que el de al menos una línea base.
• La evaluación usa solo datos de KITTI, de un único sensor (Velodyne HDL-64E S2); la semántica no se usa para el cierre de bucle, algo que los autores señalan como trabajo futuro.

Impacto en el campo

Citado 584 veces (cifra según se indica). Los autores publican el código fuente en https://github.com/PRBonn/semantic_suma/.

Resumen

Una localización y un mapeo fiables y precisos son componentes clave de la mayoría de los sistemas autónomos. Además de la información geométrica sobre el entorno mapeado, la semántica desempeña un papel importante para permitir comportamientos de navegación inteligentes. En la mayoría de los entornos realistas, esta tarea se complica especialmente por la dinámica causada por los objetos en movimiento, que puede corromper el paso de mapeo o desviar la localización. En este artículo proponemos una extensión de un enfoque de mapeo basado en surfels publicado recientemente, que aprovecha escaneos láser de distancia tridimensionales, integrando información semántica para facilitar el proceso de mapeo. La información semántica se extrae de forma eficiente mediante una red neuronal totalmente convolucional y se representa sobre una proyección esférica de los datos de distancia láser. Esta segmentación semántica calculada da como resultado etiquetas por punto para todo el escaneo, lo que nos permite construir un mapa enriquecido semánticamente con surfels etiquetados. Este mapa semántico nos permite filtrar de forma fiable los objetos en movimiento, pero también mejorar el emparejamiento proyectivo de escaneos mediante restricciones semánticas. Nuestra evaluación experimental en exigentes secuencias de autopista del conjunto de datos KITTI, con muy pocas estructuras estáticas y una gran cantidad de coches en movimiento, muestra la ventaja de nuestro enfoque de SLAM semántico en comparación con un enfoque del estado del arte puramente geométrico.

Enlaces

• arXiv 2105.11320: https://arxiv.org/abs/2105.11320
• DOI 10.1109/IROS40897.2019.8967704: https://doi.org/10.1109/IROS40897.2019.8967704
• PDF: https://arxiv.org/pdf/2105.11320v1
• Código: https://github.com/PRBonn/semantic_suma/