SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

Autori: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Mappatura stradale da immagini aeree, senza robot: un ragionamento su grafi negli spazi di interazione spaziali e proiettati, a tre scale, collega i tratti di strada occlusi e ha aumentato la connettività APLS di circa 1 punto su due benchmark.

Perché è importante

È la connettività delle strade, e non solo l'accuratezza per pixel, a decidere se una mappa estratta è utilizzabile per la pianificazione del percorso, e i guadagni di SPIN sono maggiori proprio sulla metrica di connettività. Il modulo aggiunge appena 0,03M parametri e può essere inserito in una ConvNet esistente dopo un blocco convoluzionale. Una convergenza più rapida accorcia l'addestramento sui grandi dataset ad alta risoluzione di cui ha bisogno la cartografia per i veicoli autonomi.

Problema

Le mappe stradali estratte da immagini aeree aiutano i veicoli autonomi a individuare le aree percorribili e a vincolare la pianificazione del movimento. Le strade variano in larghezza, si diramano nell'immagine e sono spesso nascoste da alberi, edifici o nuvole, e le ConvNet semplici catturano male le dipendenze a lungo raggio, il che interrompe la connettività delle strade. I Transformer catturano tali dipendenze, ma richiedono molta potenza di calcolo e un lungo addestramento su immagini grandi ad alta risoluzione.

Soluzione proposta

Il modulo SPIN costruisce due grafi a partire da una mappa di feature: uno sulle posizioni spaziali, che usa una matrice di similarità dipendente dai dati per collegare regioni stradali distanti, e uno in uno spazio di interazione proiettato, che usa una matrice di similarità appresa per separare le strade da edifici, alberi e altri elementi. Le loro uscite vengono sommate alle feature di ingresso, e una piramide SPIN applica questo procedimento alle scale 1, 1/2 e 1/4. La rete completa usa blocchi residui, due moduli hourglass impilati, un ramo per l'orientamento delle strade e loss SoftIoU e di orientamento multiscala.

Idee chiave

• Il ragionamento su grafi nello spazio spaziale collega segmenti stradali distanti, mentre il ragionamento nello spazio di interazione separa le strade dalle altre coperture del suolo; combinarli ha superato ciascuno dei due da solo
• Una singola convoluzione su grafo cattura dipendenze a lungo raggio che altrimenti richiederebbero molti strati di convoluzione impilati
• Eseguire il ragionamento su grafi su tre scale amplia il campo recettivo senza il costo computazionale di un Transformer
• I guadagni maggiori si sono avuti su APLS, una metrica di connettività basata su grafi, coerentemente con il recupero di strade sotto alberi ed edifici
• L'aggiunta di SPIN ha fatto convergere più rapidamente l'addestramento; gli autori affermano che aumenta il tasso di convergenza della metà

Risultati principali

• Massachusetts Roads: F1 84,47, IoU rilassata 73,12, IoU accurata 65,24 e APLS 72,49, i migliori tra tutti i metodi confrontati; il secondo migliore, Batra et al., a 83,97, 72,37, 64,44 e 71,34
• DeepGlobe: F1 84,32, IoU rilassata 72,89 e APLS 74,14, i migliori valori confrontati; la IoU accurata di 67,02 è risultata leggermente inferiore a Batra et al. (67,21)
• Guadagni in APLS rispetto al secondo miglior metodo di +1,15 (Massachusetts) e +1,02 (DeepGlobe)
• Ablazione (Tabella II): solo ConvNet 73,01 APLS, ragionamento spaziale 73,59, ragionamento di interazione 73,52, SPIN completo 74,14. La Tabella II etichetta le sue altre due colonne come IoU_a e F1, ma la riga del modello completo (84,32, 67,02) corrisponde a F1 e IoU_a di DeepGlobe nella Tabella I, quindi quelle due etichette sembrano scambiate
• Il modulo SPIN aggiunge 0,03M parametri alla ConvNet

Limiti

• Il lavoro riguarda la cartografia da immagini aeree: estrae mappe stradali da immagini satellitari e aeree per la guida autonoma, e nei suoi esperimenti non viene usato alcun robot o veicolo.
• L'articolo non riporta una sezione sui limiti; su DeepGlobe la sua IoU accurata (67,02) è risultata leggermente inferiore a quella di Batra et al. (67,21)
• Le immagini parzialmente occultate sono state rimosse dal set di addestramento di Massachusetts perché peggioravano le prestazioni
• I guadagni rispetto alla baseline più forte sono piccoli sulle metriche per pixel (0,35–0,5 punti di F1); il miglioramento principale è in APLS
• L'affermazione sulla convergenza più rapida si basa su un'unica curva di addestramento (Fig. 6), senza tempi reali riportati

Impatto sul settore

Finalista dell'ICRA 2022 Outstanding Automation Paper award, con 43 citazioni. Gli autori rilasciano il loro codice su GitHub.

Abstract

L'estrazione delle strade è un passo essenziale nella realizzazione di sistemi di navigazione autonoma. Rilevare i segmenti stradali è difficile perché hanno larghezze variabili, si biforcano in tutta l'immagine e sono spesso occultati dal terreno, dalle nuvole o da altre condizioni meteorologiche. Usare solo reti neurali convoluzionali (ConvNets) per questo problema non è efficace, poiché sono inefficienti nel catturare le dipendenze a distanza tra segmenti stradali nell'immagine, essenziali per estrarre la connettività delle strade. A tal fine, proponiamo un modulo di ragionamento su grafi nello spazio spaziale e nello spazio di interazione (Spatial and Interaction Space Graph Reasoning, SPIN) che, inserito in una ConvNet, esegue un ragionamento su grafi costruiti su spazi spaziali e di interazione proiettati a partire dalle mappe di feature. Il ragionamento nello spazio spaziale estrae dipendenze tra diverse regioni spaziali e altre informazioni contestuali. Il ragionamento in uno spazio di interazione proiettato aiuta a delineare in modo appropriato le strade rispetto ad altre topografie presenti nell'immagine. In questo modo, SPIN estrae dipendenze a lungo raggio tra segmenti stradali e distingue efficacemente le strade dalle altre semantiche. Introduciamo inoltre una piramide SPIN che esegue il ragionamento su grafi di SPIN su più scale per estrarre feature multiscala. Proponiamo una rete basata su moduli hourglass impilati e sulla piramide SPIN per la segmentazione delle strade, che ottiene prestazioni migliori rispetto ai metodi esistenti. Inoltre, il nostro metodo è efficiente dal punto di vista computazionale e accelera significativamente la convergenza durante l'addestramento, rendendolo applicabile a immagini aeree ad alta risoluzione su larga scala. Codice disponibile all'indirizzo: https://github.com/wgcban/SPIN_RoadMapper.git.

Link

• arXiv 2109.07701: https://arxiv.org/abs/2109.07701
• DOI 10.48550/arXiv.2109.07701: https://doi.org/10.48550/arXiv.2109.07701
• PDF: https://arxiv.org/pdf/2109.07701v1
• Codice: https://github.com/wgcban/SPIN_RoadMapper