SuMa++: Efficient LiDAR-based Semantic SLAM

Autoren: Xieyuanli Chen, Andres Milioto, Emanuele Palazzolo, Philippe Giguère, Jens Behley, Cyrill Stachniss · IROS 2019

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

SuMa++ ergänzt surfelbasiertes LiDAR-SLAM um punktweise semantische Labels von RangeNet++ und nutzt sie, um bewegte Objekte aus der Karte zu entfernen und ICP-Residuen zu gewichten.

Warum es wichtig ist

Die Methode benötigt nur ein LiDAR, keine Kamera, und nutzt Semantik sowohl zum Bereinigen der Karte als auch, um die Registrierung robuster gegenüber Ausreißern zu machen. Auf KITTI zeigte sie außerdem, dass das Entfernen aller beweglichen Klassen SLAM in städtischen Szenen divergieren lassen kann, eine konkrete Warnung für alle, die dynamische Objekte allein nach Klasse filtern.

Problem

LiDAR-SLAM, das sich allein auf Geometrie stützt, kann sich an gleichmäßig bewegte Objekte heften, was die Karte und die Posenschätzung verfälscht; Autobahnen mit wenigen statischen Strukturen und vielen fahrenden Autos sind der schwierigste Fall. Jede potenziell bewegliche Klasse zu entfernen ist eine grobe Lösung, da dabei auch geparkte Autos verworfen werden, die nützliche Merkmale für die Scan-Registrierung sind.

Lösungsansatz

SuMa++ führt RangeNet++ auf einer sphärischen Projektion jedes Scans aus, um jeden Punkt zu labeln, verringert Labelartefakte der Rückprojektion durch eine Erosion gefolgt von tiefenkonsistentem Flood-Fill und speichert in jedem Surfel ein Label und dessen Wahrscheinlichkeit. Ein Surfel, dessen Label der neuen Beobachtung widerspricht, erhält einen Abzug in seinen Stabilitäts-Log-Odds und wird nach mehreren Beobachtungen entfernt, und das Frame-to-Model-ICP gewichtet jedes Residuum mit einem Huber-Term, der semantischen Kompatibilität von Scan- und Kartenlabels und der Surfel-Stabilität.

Wichtigste Erkenntnisse

Das Filtern nach semantischer Inkonsistenz zwischen Scan und Karte entfernt Objekte, die sich tatsächlich bewegt haben, und behält geparkte Autos, die nützliche Merkmale für die Registrierung sind.
Das Entfernen aller beweglichen Klassen (SuMa nomovable) machte die Surfel-Karte dünner besetzt und führte in städtischen KITTI-Sequenzen zu Divergenz, teilweise weil falsche Labels statische Surfels entfernten.
Erosion gefolgt von tiefenkonsistentem Flood-Fill verringert die Labelfehler, die entstehen, wenn Vorhersagen auf dem 2D-Entfernungsbild auf 3D-Punkte zurückprojiziert werden.
Semantische Gewichte im ICP gewichten Residuen herunter, bei denen Scan- und Kartenlabels nicht übereinstimmen, zum Beispiel bei fahrenden Autos, die bereits aus der Karte gefiltert wurden.

Hauptergebnisse

KITTI-Straßensequenzen 30–41 (Segmente von 5–400 m, Rotationsfehler in °/100 m / Translationsfehler in %): SuMa 1,35/6,13, SuMa nomovable 1,17/1,46, SuMa++ 1,04/1,46.
Autobahnsequenz 35: Der Translationsfehler sank von 26,8 % (SuMa) auf 1,11 % (SuMa++); Sequenz 40 von 18,0 % auf 1,95 %; Sequenz 41 von 15,6 % auf 1,67 %.
KITTI-Odometrie-Trainingssequenzen 00–10 (Segmente von 100–800 m): SuMa++ 0,29/0,70 gegenüber SuMa 0,36/0,83; IMLS-SLAM berichtet 0,55 % und LOAM 0,84 % Translationsfehler.
KITTI-Odometrie-Testset (serverseitige Auswertung): Translationsfehler 1,06 % gegenüber 1,39 % für SuMa, bei einem Rotationsfehler von 0,0032 deg/m für beide.
Laufzeit auf einem Intel Xeon W-2123 mit einer Nvidia Quadro P4000: im Mittel 75 ms pro Scan für die RangeNet++-Labels und 48 ms für die Surfel-Kartierung, bis zu 190 ms beim Einbinden von Loop Closures.

Einschränkungen

Dynamische Objekte können in der ersten Beobachtung nicht gefiltert werden; bei vielen bewegten Objekten im ersten Scan scheitert die Methode, daher werden während einer Initialisierungsphase alle beweglichen Klassen entfernt (von den Autoren genannte Einschränkung).
Nur bewegliche Klassen werden bestraft; Vegetation, deren Erscheinung sich mit dem Blickwinkel ändert, wird bewusst beibehalten.
Nach dem Flood-Fill bleiben Segmentierungsfehler bestehen und können Surfels entfernen, die tatsächlich statisch sind.
Auf den Straßensequenzen liegt SuMa++ nahe an der Baseline, die alle beweglichen Klassen entfernt, und auf mehreren Sequenzen (33, 36, 37, 39, 40, 41) ist sein Translationsfehler höher als bei mindestens einer Baseline.
Die Auswertung nutzt nur KITTI-Daten von einem einzigen Sensor (Velodyne HDL-64E S2); Semantik wird nicht für Loop Closure verwendet, was die Autoren als künftige Arbeit nennen.

Wirkung auf das Fachgebiet

584-mal zitiert (Zahl wie angegeben). Die Autoren stellen den Quellcode unter https://github.com/PRBonn/semantic_suma/ bereit.

Zusammenfassung

Zuverlässige und genaue Lokalisierung und Kartierung sind Schlüsselkomponenten der meisten autonomen Systeme. Neben geometrischen Informationen über die kartierte Umgebung spielt die Semantik eine wichtige Rolle, um intelligentes Navigationsverhalten zu ermöglichen. In den meisten realistischen Umgebungen ist diese Aufgabe besonders kompliziert, da durch bewegte Objekte verursachte Dynamik den Kartierungsschritt verfälschen oder die Lokalisierung entgleisen lassen kann. In dieser Arbeit schlagen wir eine Erweiterung eines kürzlich veröffentlichten surfelbasierten Kartierungsansatzes vor, der dreidimensionale Laser-Entfernungsscans nutzt, indem wir semantische Informationen integrieren, um den Kartierungsprozess zu erleichtern. Die semantischen Informationen werden effizient von einem vollständig faltenden neuronalen Netz extrahiert und auf einer sphärischen Projektion der Laser-Entfernungsdaten gerendert. Diese berechnete semantische Segmentierung liefert punktweise Labels für den gesamten Scan und ermöglicht uns den Aufbau einer semantisch angereicherten Karte mit gelabelten Surfels. Diese semantische Karte erlaubt es uns, bewegte Objekte zuverlässig herauszufiltern, aber auch das projektive Scan-Matching über semantische Nebenbedingungen zu verbessern. Unsere experimentelle Auswertung auf anspruchsvollen Autobahnsequenzen aus dem KITTI-Datensatz mit sehr wenigen statischen Strukturen und einer großen Zahl fahrender Autos zeigt den Vorteil unseres semantischen SLAM-Ansatzes im Vergleich zu einem rein geometrischen Ansatz nach dem Stand der Technik.

Open Source Robotics