SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

Autores: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Cartografía de carreteras a partir de imágenes aéreas, sin ningún robot: el razonamiento sobre grafos en espacios de interacción espaciales y proyectados, a tres escalas, une tramos de carretera ocultos y aumentó la conectividad APLS en torno a 1 punto en dos benchmarks.

Por qué importa

Es la conectividad de las carreteras, y no solo la precisión por píxel, lo que decide si un mapa extraído sirve para planificar rutas, y las mejoras de SPIN son mayores en la métrica de conectividad. El módulo añade solo 0,03M parámetros y puede insertarse en una ConvNet existente después de un bloque convolucional. Una convergencia más rápida acorta el entrenamiento en los grandes conjuntos de datos de alta resolución que necesita la cartografía para vehículos autónomos.

Problema

Los mapas viales extraídos de imágenes aéreas ayudan a los vehículos autónomos a encontrar zonas transitables y a restringir la planificación de movimiento. Las carreteras varían en anchura, se ramifican por la imagen y a menudo quedan ocultas por árboles, edificios o nubes, y las ConvNets simples capturan mal las dependencias de largo alcance, lo que rompe la conectividad de las carreteras. Los transformadores capturan esas dependencias, pero requieren mucho cómputo y un entrenamiento largo con imágenes grandes de alta resolución.

Solución propuesta

El módulo SPIN construye dos grafos a partir de un mapa de características: uno sobre las posiciones espaciales, que usa una matriz de similitud dependiente de los datos para conectar regiones de carretera distantes, y otro en un espacio de interacción proyectado, que usa una matriz de similitud aprendida para separar las carreteras de edificios, árboles y otros elementos. Sus salidas se suman a las características de entrada, y una pirámide SPIN aplica esto a las escalas 1, 1/2 y 1/4. La red completa usa bloques residuales, dos módulos hourglass apilados, una rama de orientación de carreteras y pérdidas SoftIoU y de orientación multiescala.

Ideas clave

• El razonamiento sobre grafos en el espacio espacial conecta segmentos de carretera distantes, mientras que el razonamiento en el espacio de interacción separa las carreteras de otras coberturas del suelo; combinar ambos superó a cada uno por separado
• Una sola convolución sobre grafos captura dependencias de largo alcance que de otro modo requerirían muchas capas de convolución apiladas
• Ejecutar el razonamiento sobre grafos a tres escalas amplía el campo receptivo sin el coste computacional de un transformador
• Las mayores mejoras se dieron en APLS, una métrica de conectividad basada en grafos, lo que es coherente con la recuperación de carreteras bajo árboles y edificios
• Añadir SPIN hizo que el entrenamiento convergiera más rápido; los autores afirman que aumenta la tasa de convergencia en la mitad

Resultados principales

• Massachusetts Roads: F1 84,47, IoU relajado 73,12, IoU preciso 65,24 y APLS 72,49, los mejores de todos los métodos comparados; el siguiente mejor, Batra et al., obtuvo 83,97, 72,37, 64,44 y 71,34
• DeepGlobe: F1 84,32, IoU relajado 72,89 y APLS 74,14, los mejores valores comparados; el IoU preciso de 67,02 quedó ligeramente por debajo de Batra et al. (67,21)
• Mejoras de APLS sobre el siguiente mejor método de +1,15 (Massachusetts) y +1,02 (DeepGlobe)
• Ablación (Tabla II): solo ConvNet 73,01 APLS, razonamiento espacial 73,59, razonamiento de interacción 73,52, SPIN completo 74,14. La Tabla II rotula sus otras dos columnas como IoU_a y F1, pero la fila del modelo completo (84,32, 67,02) coincide con F1 e IoU_a de DeepGlobe en la Tabla I, por lo que esas dos etiquetas parecen estar intercambiadas
• El módulo SPIN añade 0,03M parámetros a la ConvNet

Limitaciones

• El trabajo trata de cartografía a partir de imágenes aéreas: extrae mapas viales de imágenes satelitales y aéreas para la conducción autónoma, y en sus experimentos no se usa ningún robot ni vehículo.
• El artículo no incluye una sección de limitaciones; en DeepGlobe su IoU preciso (67,02) fue ligeramente inferior al de Batra et al. (67,21)
• Las imágenes parcialmente ocultas se eliminaron del conjunto de entrenamiento de Massachusetts porque perjudicaban el rendimiento
• Las mejoras sobre la línea base más fuerte son pequeñas en las métricas por píxel (0,35–0,5 puntos de F1); la mejora principal está en APLS
• La afirmación de convergencia más rápida se basa en una sola curva de entrenamiento (Fig. 6), sin tiempos de reloj reportados

Impacto en el campo

Finalista del premio ICRA 2022 Outstanding Automation Paper, con 43 citas. Los autores publican su código en GitHub.

Resumen

La extracción de carreteras es un paso esencial en la construcción de sistemas de navegación autónoma. Detectar segmentos de carretera es difícil porque tienen anchos variables, se bifurcan por toda la imagen y a menudo quedan ocultos por el terreno, las nubes u otras condiciones meteorológicas. Usar solo redes neuronales convolucionales (ConvNets) para este problema no es eficaz, ya que resultan ineficientes para capturar dependencias lejanas entre segmentos de carretera en la imagen, lo cual es esencial para extraer la conectividad de las carreteras. Con este fin, proponemos un módulo de razonamiento sobre grafos en el espacio espacial y en el espacio de interacción (Spatial and Interaction Space Graph Reasoning, SPIN) que, insertado en una ConvNet, realiza razonamiento sobre grafos construidos en espacios espaciales y de interacción proyectados a partir de los mapas de características. El razonamiento en el espacio espacial extrae dependencias entre distintas regiones espaciales y otra información contextual. El razonamiento en un espacio de interacción proyectado ayuda a delimitar adecuadamente las carreteras frente a otras topografías presentes en la imagen. Así, SPIN extrae dependencias de largo alcance entre segmentos de carretera y delimita eficazmente las carreteras frente a otras semánticas. También introducimos una pirámide SPIN que realiza el razonamiento sobre grafos de SPIN a múltiples escalas para extraer características multiescala. Proponemos una red basada en módulos hourglass apilados y en la pirámide SPIN para la segmentación de carreteras, que logra un mejor rendimiento que los métodos existentes. Además, nuestro método es computacionalmente eficiente y acelera significativamente la convergencia durante el entrenamiento, lo que hace viable aplicarlo a imágenes aéreas de alta resolución a gran escala. Código disponible en: https://github.com/wgcban/SPIN_RoadMapper.git.

Enlaces

• arXiv 2109.07701: https://arxiv.org/abs/2109.07701
• DOI 10.48550/arXiv.2109.07701: https://doi.org/10.48550/arXiv.2109.07701
• PDF: https://arxiv.org/pdf/2109.07701v1
• Código: https://github.com/wgcban/SPIN_RoadMapper