SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

Auteurs: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Cartographie routière à partir d’images aériennes, sans robot : un raisonnement sur graphe dans des espaces d’interaction spatiaux et projetés, à trois échelles, relie les segments de route occultés et a amélioré la connectivité APLS d’environ 1 point sur deux benchmarks.

Pourquoi c'est important

C'est la connectivité routière, et pas seulement la précision au pixel, qui détermine si une carte extraite est utilisable pour la planification d'itinéraire, et les gains de SPIN sont les plus importants sur la métrique de connectivité. Le module n'ajoute que 0,03M paramètres et peut être inséré dans un ConvNet existant après un bloc convolutif. Une convergence plus rapide raccourcit l'entraînement sur les grands jeux de données haute résolution dont la cartographie pour véhicules autonomes a besoin.

Problème

Les cartes routières extraites d'images aériennes aident les véhicules autonomes à trouver les zones praticables et à contraindre la planification de mouvement. Les routes varient en largeur, se ramifient à travers l'image et sont souvent cachées par des arbres, des bâtiments ou des nuages, et les ConvNets simples captent mal les dépendances à longue portée, ce qui rompt la connectivité routière. Les Transformer captent de telles dépendances mais exigent beaucoup de calcul et un long entraînement sur de grandes images haute résolution.

Solution proposée

Le module SPIN construit deux graphes à partir d'une carte de caractéristiques : l'un sur les positions spatiales, qui utilise une matrice de similarité dépendant des données pour relier des régions routières éloignées, et l'autre dans un espace d'interaction projeté, qui utilise une matrice de similarité apprise pour séparer les routes des bâtiments, des arbres et d'autres éléments. Leurs sorties sont ajoutées aux caractéristiques d'entrée, et une pyramide SPIN applique ce traitement aux échelles 1, 1/2 et 1/4. Le réseau complet utilise des blocs résiduels, deux modules hourglass empilés, une branche d'orientation des routes et des pertes SoftIoU et d'orientation multi-échelles.

Idées clés

• Le raisonnement sur graphes dans l'espace spatial relie des segments de route éloignés, tandis que le raisonnement dans l'espace d'interaction sépare les routes des autres types d'occupation du sol ; la combinaison des deux a surpassé chacun pris isolément
• Une seule convolution sur graphe capte des dépendances à longue portée qui exigeraient sinon de nombreuses couches de convolution empilées
• Exécuter le raisonnement sur graphes à trois échelles élargit le champ réceptif sans le coût de calcul d'un Transformer
• Les gains les plus importants portent sur APLS, une métrique de connectivité fondée sur les graphes, ce qui concorde avec la récupération de routes sous les arbres et les bâtiments
• L'ajout de SPIN a accéléré la convergence de l'entraînement ; les auteurs indiquent qu'il augmente le taux de convergence de moitié

Principaux résultats

• Massachusetts Roads : F1 84,47, relaxed IoU 73,12, accurate IoU 65,24 et APLS 72,49, les meilleurs de toutes les méthodes comparées ; la suivante, Batra et al., à 83,97, 72,37, 64,44 et 71,34
• DeepGlobe : F1 84,32, relaxed IoU 72,89 et APLS 74,14, les meilleures valeurs comparées ; l'accurate IoU de 67,02 était légèrement inférieure à celle de Batra et al. (67,21)
• Gains APLS par rapport à la méthode suivante de +1,15 (Massachusetts) et +1,02 (DeepGlobe)
• Ablation (Table II) : ConvNet seul 73,01 APLS, raisonnement spatial 73,59, raisonnement d'interaction 73,52, SPIN complet 74,14. La Table II intitule ses deux autres colonnes IoU_a et F1, mais la ligne du modèle complet (84,32, 67,02) correspond au F1 et à l'IoU_a de DeepGlobe dans la Table I, si bien que ces deux intitulés semblent inversés
• Le module SPIN ajoute 0,03M paramètres au ConvNet

Limites

• Ce travail relève de la cartographie par imagerie aérienne : il extrait des cartes routières à partir d'images satellitaires et aériennes pour la conduite autonome, et aucun robot ni véhicule n'est utilisé dans ses expériences.
• L'article ne comporte pas de section sur les limites ; sur DeepGlobe, son accurate IoU (67,02) était légèrement inférieure à celle de Batra et al. (67,21)
• Les images partiellement masquées ont été retirées de l'ensemble d'entraînement Massachusetts, car elles dégradaient les performances
• Les gains par rapport à la référence la plus forte sont faibles sur les métriques au pixel (0,35–0,5 point de F1) ; l'amélioration principale porte sur APLS
• L'affirmation d'une convergence plus rapide repose sur une seule courbe d'entraînement (Fig. 6), sans temps réels d'exécution rapportés

Impact sur le domaine

Finaliste du prix ICRA 2022 Outstanding Automation Paper, avec 43 citations. Les auteurs publient leur code sur GitHub.

Résumé

L'extraction des routes est une étape essentielle dans la construction de systèmes de navigation autonome. La détection des segments de route est difficile, car ils sont de largeurs variables, bifurquent à travers toute l'image et sont souvent masqués par le terrain, les nuages ou d'autres conditions météorologiques. Utiliser uniquement des réseaux de neurones convolutifs (ConvNets) pour ce problème n'est pas efficace, car ils captent de manière inefficace les dépendances lointaines entre segments de route dans l'image, essentielles pour extraire la connectivité routière. À cette fin, nous proposons un module Spatial and Interaction Space Graph Reasoning (SPIN) qui, inséré dans un ConvNet, effectue un raisonnement sur des graphes construits sur des espaces spatial et d'interaction projetés à partir des cartes de caractéristiques. Le raisonnement sur l'espace spatial extrait les dépendances entre différentes régions spatiales ainsi que d'autres informations contextuelles. Le raisonnement sur un espace d'interaction projeté aide à délimiter correctement les routes par rapport aux autres topographies présentes dans l'image. Ainsi, SPIN extrait les dépendances à longue portée entre segments de route et délimite efficacement les routes par rapport aux autres éléments sémantiques. Nous introduisons également une pyramide SPIN qui effectue le raisonnement sur graphes SPIN à plusieurs échelles afin d'extraire des caractéristiques multi-échelles. Nous proposons un réseau fondé sur des modules hourglass empilés et sur la pyramide SPIN pour la segmentation des routes, qui obtient de meilleures performances que les méthodes existantes. De plus, notre méthode est efficace en calcul et accélère nettement la convergence pendant l'entraînement, ce qui la rend applicable à des images aériennes haute résolution à grande échelle. Code disponible à l'adresse : https://github.com/wgcban/SPIN_RoadMapper.git.

Liens

• arXiv 2109.07701: https://arxiv.org/abs/2109.07701
• DOI 10.48550/arXiv.2109.07701: https://doi.org/10.48550/arXiv.2109.07701
• PDF: https://arxiv.org/pdf/2109.07701v1
• Code: https://github.com/wgcban/SPIN_RoadMapper