SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

Autoren: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Straßenkartierung aus Luftbildern, ohne Roboter: Graph-Reasoning über räumliche und projizierte Interaktionsräume auf drei Skalen verbindet verdeckte Straßensegmente und hob die APLS-Konnektivität auf zwei Benchmarks um etwa 1 Punkt.

Warum es wichtig ist

Ob eine extrahierte Karte für die Routenplanung brauchbar ist, entscheidet die Straßenkonnektivität, nicht nur die Pixelgenauigkeit, und die Zugewinne von SPIN sind bei der Konnektivitätsmetrik am größten. Das Modul fügt nur 0,03M Parameter hinzu und lässt sich in ein bestehendes ConvNet nach einem Faltungsblock einsetzen. Schnellere Konvergenz verkürzt das Training auf den großen, hochaufgelösten Datensätzen, die die Kartierung für autonome Fahrzeuge benötigt.

Problem

Aus Luftbildern extrahierte Straßenkarten helfen autonomen Fahrzeugen, befahrbare Bereiche zu finden und die Bewegungsplanung einzuschränken. Straßen variieren in der Breite, verzweigen sich über das Bild und sind oft durch Bäume, Gebäude oder Wolken verdeckt, und einfache ConvNets erfassen weitreichende Abhängigkeiten schlecht, wodurch die Straßenkonnektivität abreißt. Transformer erfassen solche Abhängigkeiten, benötigen aber auf großen, hochaufgelösten Bildern viel Rechenleistung und langes Training.

Lösungsansatz

Das SPIN-Modul erstellt aus einer Feature-Map zwei Graphen: einen über räumliche Positionen, der mit einer datenabhängigen Ähnlichkeitsmatrix entfernte Straßenbereiche verbindet, und einen in einem projizierten Interaktionsraum, der mit einer gelernten Ähnlichkeitsmatrix Straßen von Gebäuden, Bäumen und anderen Merkmalen trennt. Ihre Ausgaben werden zu den Eingangsmerkmalen addiert, und eine SPIN-Pyramide wendet dies auf den Skalen 1, 1/2 und 1/4 an. Das vollständige Netzwerk verwendet Residualblöcke, zwei gestapelte Hourglass-Module, einen Zweig für die Straßenorientierung sowie SoftIoU- und Orientierungsverluste auf mehreren Skalen.

Wichtigste Erkenntnisse

Graph-Reasoning im räumlichen Raum verbindet entfernte Straßensegmente, während Reasoning im Interaktionsraum Straßen von anderer Landbedeckung trennt; die Kombination beider schlug jede Variante allein
Eine einzige Graph-Faltung erfasst weitreichende Abhängigkeiten, die sonst viele gestapelte Faltungsschichten erfordern würden
Graph-Reasoning auf drei Skalen vergrößert das rezeptive Feld ohne die Rechenkosten eines Transformer
Die größten Zugewinne gab es bei APLS, einer graphbasierten Konnektivitätsmetrik, was mit der Wiederherstellung von Straßen unter Bäumen und Gebäuden übereinstimmt
Mit SPIN konvergierte das Training schneller; die Autoren geben an, dass es die Konvergenzrate um die Hälfte erhöht

Hauptergebnisse

Massachusetts Roads: F1 84,47, relaxed IoU 73,12, accurate IoU 65,24 und APLS 72,49, jeweils der beste Wert aller verglichenen Methoden; zweitbeste Batra et al. mit 83,97, 72,37, 64,44 und 71,34
DeepGlobe: F1 84,32, relaxed IoU 72,89 und APLS 74,14, die besten verglichenen Werte; accurate IoU 67,02 lag leicht unter Batra et al. (67,21)
APLS-Zugewinne gegenüber der zweitbesten Methode von +1,15 (Massachusetts) und +1,02 (DeepGlobe)
Ablation (Table II): nur ConvNet 73,01 APLS, räumliches Reasoning 73,59, Interaktions-Reasoning 73,52, vollständiges SPIN 74,14. Table II beschriftet die beiden anderen Spalten mit IoU_a und F1, doch die Zeile des vollständigen Modells (84,32, 67,02) stimmt mit DeepGlobe-F1 und IoU_a in Table I überein, sodass diese beiden Beschriftungen vertauscht zu sein scheinen
Das SPIN-Modul fügt dem ConvNet 0,03M Parameter hinzu

Einschränkungen

Die Arbeit betrifft die Kartierung aus Luftbildern: Sie extrahiert Straßenkarten aus Satelliten- und Luftbildern für das autonome Fahren, und in den Experimenten wird kein Roboter oder Fahrzeug eingesetzt.
Das Paper enthält keinen Abschnitt zu Einschränkungen; auf DeepGlobe lag seine accurate IoU (67,02) leicht unter Batra et al. (67,21)
Teilweise verdeckte Bilder wurden aus dem Massachusetts-Trainingsdatensatz entfernt, weil sie die Leistung verschlechterten
Die Zugewinne gegenüber der stärksten Baseline sind bei Pixelmetriken gering (0,35–0,5 F1-Punkte); die wesentliche Verbesserung liegt bei APLS
Die Aussage zur schnelleren Konvergenz stützt sich auf eine einzige Trainingskurve (Fig. 6) ohne berichtete Wall-Clock-Zeiten

Wirkung auf das Fachgebiet

Finalist für den ICRA 2022 Outstanding Automation Paper Award, mit 43 Zitierungen. Die Autoren veröffentlichen ihren Code auf GitHub.

Zusammenfassung

Die Straßenextraktion ist ein wesentlicher Schritt beim Aufbau autonomer Navigationssysteme. Die Erkennung von Straßensegmenten ist schwierig, da sie unterschiedlich breit sind, sich über das gesamte Bild verzweigen und häufig durch Gelände, Wolken oder andere Wetterbedingungen verdeckt werden. Für dieses Problem allein Convolutional Neural Networks (ConvNets) einzusetzen, ist nicht effektiv, da sie entfernte Abhängigkeiten zwischen Straßensegmenten im Bild, die für die Extraktion der Straßenkonnektivität wesentlich sind, nur ineffizient erfassen. Zu diesem Zweck schlagen wir ein Spatial and Interaction Space Graph Reasoning (SPIN)-Modul vor, das, in ein ConvNet eingefügt, Schlussfolgerungen über Graphen durchführt, die auf aus den Feature-Maps projizierten räumlichen und Interaktionsräumen konstruiert werden. Das Schlussfolgern über den räumlichen Raum extrahiert Abhängigkeiten zwischen verschiedenen räumlichen Regionen und weitere Kontextinformationen. Das Schlussfolgern über einen projizierten Interaktionsraum hilft dabei, Straßen angemessen von anderen im Bild vorhandenen Topografien abzugrenzen. Somit extrahiert SPIN weitreichende Abhängigkeiten zwischen Straßensegmenten und grenzt Straßen wirksam von anderen semantischen Inhalten ab. Wir führen außerdem eine SPIN-Pyramide ein, die SPIN-Graph-Reasoning über mehrere Skalen hinweg durchführt, um Merkmale auf mehreren Skalen zu extrahieren. Wir schlagen ein Netzwerk auf Basis gestapelter Hourglass-Module und der SPIN-Pyramide für die Straßensegmentierung vor, das im Vergleich zu bestehenden Methoden eine bessere Leistung erzielt. Darüber hinaus ist unsere Methode recheneffizient und steigert die Konvergenzgeschwindigkeit während des Trainings deutlich, wodurch sie für die Anwendung auf großskalige, hochaufgelöste Luftbilder praktikabel wird. Code verfügbar unter: https://github.com/wgcban/SPIN_RoadMapper.git.

Open Source Robotics