NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

Autoren: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

NGEL-SLAM kombiniert Tracking und Schleifenschluss von ORB-SLAM3 mit mehreren octreebasierten neuronalen Teilkarten, sodass die dichte Karte nach einem Schleifenschluss schnell neu ausgerichtet statt neu trainiert wird.

Warum es wichtig ist

Roboter, die dichte Karten großer Innenbereiche erstellen, brauchen Karten, die nach einem Schleifenschluss konsistent bleiben und neue Keyframes schnell aufnehmen. Das Tracking in einem merkmalsbasierten System zu belassen und die neuronale Karte in verankerte Teilkarten aufzuteilen, liefert beides, ohne die gesamte Karte neu zu trainieren.

Problem

Neuronale implizite SLAM-Systeme wie iMAP und NICE-SLAM liefern dichte Geometrie, tracken aber über die neuronale Karte, die keinen Schleifenschluss hat und in großen Szenen die globale Konsistenz verliert. Den Tracker durch einen klassischen zu ersetzen, löst das nicht, weil das Neutrainieren einer einzelnen Szenenkarte nach Posen-Updates durch den Schleifenschluss langsam ist und die langsame Konvergenz des Kartierungsnetzes zudem eine latenzarme Kartierung verhindert.

Lösungsansatz

ORB-SLAM3 übernimmt Tracking, lokalen Bündelblockausgleich und Schleifenschluss, während die Szene als mehrere lokale neuronale implizite Teilkarten gespeichert wird, die jeweils an einem Keyframe verankert sind. Nach dem globalen Bündelblockausgleich werden die Teilkarten zunächst in Echtzeit mit ihren Ankerposen verschoben und dann feinabgestimmt; jede Teilkarte speichert mehrstufige Merkmale in einem dünnbesetzten Octree mit kleinen MLP-Decodern für Belegung und Farbe, um schnell zu konvergieren. Bilder werden gerendert, indem pro Pixel die Teilkarte mit der geringsten Unsicherheit der Belegungsvarianz gewählt wird.

Wichtigste Erkenntnisse

Wird die Szene als verankerte Teilkarten dargestellt, lassen sich Korrekturen aus dem Schleifenschluss durch Aktualisieren der Teilkarten-Posen anwenden, was den größten Teil des Kartenfehlers ohne Neutraining beseitigt; anschließend entfernt die Feinabstimmung die verbleibenden kleinen Fehler.
Merkmalsbasiertes Tracking mit Schleifenschluss (ORB-SLAM3) war auf TUM RGB-D genauer als Tracking über die neuronale Karte.
Ein dünnbesetzter Octree wächst nur dort, wo Raum belegt ist, und spart daher im Vergleich zu dichten Voxelgittern Speicher bei weiterhin schneller Konvergenz; nur Keyframes zu kartieren, reduziert die Kartierungsframes und die Daten-I/O weiter.
Die gerenderte Belegungsvarianz korreliert positiv mit dem Tiefenfehler und negativ mit dem PSNR, sodass sie als Kriterium dafür dient, welche Teilkarte jedes Pixel rendert.

Hauptergebnisse

Replica (8 Szenen), Rendering mit geschätzten Posen: Tiefen-L1 0,65 cm, PSNR 30,44, SSIM 0,876, LPIPS 0,151, gegenüber 2,28 cm, 29,25, 0,855 und 0,190 für ESLAM; mit Ground-Truth-Posen: 1,28 cm, 29,53, 0,864 und 0,156 gegenüber 2,81 cm, 27,33, 0,836 und 0,204 für ESLAM.
TUM-RGB-D-Tracking (ATE RMSE): 1,5 cm auf fr1/desk, 0,5 cm auf fr2/xyz und 1,0 cm auf fr3/office, gegenüber 2,5, 1,1 und 2,4 cm für ESLAM.
ScanNet-Tracking (6 Szenen): mittlerer ATE RMSE 7,44 cm gegenüber 7,50 cm für ESLAM, 9,63 cm für NICE-SLAM und 36,67 cm für iMAP; niedrigster Fehler in 3 der 6 Szenen.
Kartierungszeit pro Iteration: 14 ms gegenüber 19 ms (ESLAM), 130 ms (NICE-SLAM) und 448 ms (iMAP), bei 120 statt 400 Kartierungsframes; die Bildunterschrift von Fig. 1 beschreibt dies als 10x schneller als NICE-SLAM.
Speicher: 5,32 MB gegenüber 6,79 MB (ESLAM), 12,02 MB (NICE-SLAM) und 1,04 MB (iMAP).
Die Feinabstimmung der Karte verbesserte den Tiefen-L1 auf Replica von 1,34 auf 1,28 cm und den PSNR von 28,39 auf 29,53.

Einschränkungen

Das Fazit beschränkt das System auf Innenraumszenen, und es benötigt einen RGB-D-Eingabestrom.
Die Evaluation nutzt nur aufgezeichnete Datensätze (Replica, ScanNet, TUM RGB-D und die Apartment-Sequenz von NICE-SLAM); ein Einsatz auf einem Roboter oder mit Live-Sensoren wird nicht berichtet.
Auf ScanNet hat es in drei von sechs Szenen (0106, 0181, 0207) nicht den niedrigsten Fehler, und sein mittlerer Vorsprung vor ESLAM beträgt 0,06 cm.
iMAP benötigt weniger Speicher (1,04 MB gegenüber 5,32 MB), weil es die Szene in einem einzigen MLP speichert.
Die zweite Stufe der Schleifenschlussbehandlung, die Feinabstimmung der Teilkarten, läuft langsamer als in Echtzeit.

Wirkung auf das Fachgebiet

Gewinner des IEEE ICRA 2024 Best Paper Award in Robot Vision, mit 40 Zitierungen. Die Arbeit gibt weder einen Code- noch einen Projektlink an.

Zusammenfassung

Neuronale implizite Repräsentationen haben sich als vielversprechende Lösung erwiesen, um beim Simultaneous Localization and Mapping (SLAM) dichte Geometrie bereitzustellen. Bestehende Methoden in dieser Richtung bleiben jedoch hinsichtlich globaler Konsistenz und geringer Latenz hinter den Erwartungen zurück. Diese Arbeit stellt NGEL-SLAM vor, um diese Herausforderungen anzugehen. Um globale Konsistenz zu gewährleisten, nutzt unser System ein klassisches merkmalsbasiertes Tracking-Modul, das Schleifenschluss (loop closure) einschließt. Zusätzlich halten wir eine global konsistente Karte aufrecht, indem wir die Szene mit mehreren neuronalen impliziten Feldern darstellen, was eine schnelle Anpassung an den Schleifenschluss ermöglicht. Darüber hinaus erlaubt unser System durch den Einsatz octreebasierter impliziter Repräsentationen eine schnelle Konvergenz. Die Kombination aus rascher Reaktion auf den Schleifenschluss und schneller Konvergenz macht unser System zu einem wirklich latenzarmen System, das globale Konsistenz erreicht. Unser System ermöglicht das Rendern hochwertiger RGB-D-Bilder sowie das Extrahieren dichter und vollständiger Oberflächen. Experimente auf synthetischen und realen Datensätzen deuten darauf hin, dass unser System bei geringer Latenz eine Tracking- und Kartierungsgenauigkeit auf dem Stand der Technik erreicht.

Open Source Robotics