LONER: LiDAR Only Neural Representations for Real-Time SLAM

Autoren: Seth Isaacson, Pou-Chun Kung, Mani Ramanagopal, Ram Vasudevan, Katherine A. Skinner · RA-L 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Echtzeit-SLAM nur mit LiDAR und neuronaler impliziter Karte: ICP-Tracking, gemeinsame Optimierung von Pose und Karte über Keyframes und ein Verlust mit dynamischer Marge auf Basis der JS-Divergenz für schnelleres, schärferes Online-Lernen.

Warum es wichtig ist

Es schätzt die Sensortrajektorie und eine dichte Karte gemeinsam in Echtzeit allein aus LiDAR, und die Karte kann offline zu Tiefenbildern aus neuen Blickwinkeln oder zu Meshes gerendert werden. Das Paper testet den Verlust mit dynamischer Marge gegen andere Verluste aus tiefenüberwachten neuronalen impliziten Frameworks und stellt fest, dass er schneller konvergiert und die Geometrie genauer rekonstruiert.

Problem

Neuronale implizite Karten liefern ein kontinuierliches Szenenmodell, das überall nach Belegung abgefragt werden kann, doch bestehende implizite LiDAR-Mapping-Methoden benötigen entweder Ground-Truth-Posen oder laufen langsamer als in Echtzeit, und neuronale Echtzeit-SLAM-Systeme nutzen RGB- oder RGB-D-Kameras und arbeiten vor allem in Innenräumen. Während des Online-Trainings werden verschiedene Kartenbereiche unterschiedlich gut gelernt, sodass eine einzige Marge für alle Strahlen, wie beim LOS-Verlust, das Netz gelernte Geometrie vergessen und langsam konvergieren lässt.

Lösungsansatz

LONER führt Tracking- und Mapping-Threads parallel aus: Das Tracking dünnt Scans auf 5 Hz aus und schätzt die Odometrie mit Punkt-zu-Ebene-ICP, ohne IMU; das Mapping fügt alle 3 s einen Keyframe hinzu und optimiert gemeinsam ein MLP mit hierarchischem Merkmalsgitter und die Posen von 8 Keyframes (dem aktuellen plus zufälligen vergangenen). Der Verlust kombiniert einen Jensen-Shannon-Verlust mit dynamischer Marge, der jedem Strahl dort eine größere Marge gibt, wo die Karte schlecht gelernt ist, und eine kleinere, wo sie gut gelernt ist, mit einem herabgewichteten Tiefenverlust und einem Himmelsverlust, der aus Löchern in den LiDAR-Rückläufern bestimmt wird.

Wichtigste Erkenntnisse

Die Marge jedes Strahls aus der JS-Divergenz zwischen der Ziel- und der vorhergesagten Verteilung des Strahlendes festzulegen, lässt neue Bereiche schnell lernen und hält bereits gelernte Geometrie scharf.
Ein reiner Tiefenverlust liefert bei begrenzter Trainingszeit unscharfe Geometrie, hilft aber beim Füllen von Löchern, daher wird er mit kleinem Gewicht beibehalten (λ₁ = 5 × 10⁻⁶).
ICP statt inverse-NeRF für das Tracking zu verwenden, spart GPU-Zeit für das Mapping und hält das System echtzeitfähig; der Mapping-Schritt verfeinert anschließend die ICP-Posen.
Himmelsstrahlen werden ohne Kamera gefunden, aus Löchern im LiDAR-Tiefenbild, die über den Horizont zeigen, unter der Annahme, dass der Sensor bei der Initialisierung ungefähr waagerecht ist.
Vergangene Keyframes zufällig für das Optimierungsfenster auszuwählen, funktioniert im Allgemeinen besser, als nur aktuelle Keyframes oder eine Mischung aus halb aktuellen, halb zufälligen zu verwenden.

Hauptergebnisse

RMS-Fehler der absoluten Pose der Trajektorie (m), LONER gegenüber LeGO-LOAM: MCR 0,029 gegenüber 0,052, Canteen 0,064 gegenüber 0,129, Garden 0,056 gegenüber 0,161, Quad 0,130 gegenüber 0,126.
NICE-SLAM, in einer Offline-Konfiguration mit mehr Stichproben und Iterationen betrieben, verfolgte nur die kleine MCR-Sequenz (0,248 m) und scheiterte bei Canteen und Garden.
Kartenqualität auf der Innenraum-Sequenz MCR, LONER gegenüber SHINE Mapping (das Ground-Truth-Posen nutzt): Genauigkeit 0,186 gegenüber 0,164 m, Vollständigkeit 0,069 gegenüber 0,075 m, Präzision 0,473 gegenüber 0,624, Recall 0,932 gegenüber 0,757; auf Quad Genauigkeit 0,380 gegenüber 0,301 m, Vollständigkeit 0,373 gegenüber 0,148 m, Präzision 0,327 gegenüber 0,453, Recall 0,809 gegenüber 0,717.
Laufzeit auf einer AMD-Ryzen-5950X-CPU und einer NVIDIA-A6000-GPU: 14 ms pro Tracking-Schritt; 50 Mapping-Iterationen pro Keyframe dauern 2,79 s (je etwa 56 ms, etwa 18 Hz), innerhalb des Keyframe-Intervalls von 3 s.
Verlust-Ablation (Table V), Quad-Sequenz: vollständiges System L1-Tiefe 0,880 und Posenfehler 0,130 m, gegenüber 2,265 und 0,779 nur mit Tiefenverlust, 1,747 und 0,570 mit Tiefenverlust plus LOS-Verlust mit fester Abklingrate und 2,262 und 0,154 für LOS mit dynamischer Marge ohne Tiefenverlust.
Trainiert auf einem einzelnen Scan aus dem CARLA-Simulator erreichte der JS-Verlust schneller einen niedrigen Tiefenfehler als LOS-Verluste mit langsamem, mittlerem und schnellem Abklingen der Marge und als ein reiner Tiefenverlust.

Einschränkungen

Dynamische Objekte werden nicht behandelt; die Testsequenzen wurden so gewählt, dass sie wenige dynamische Objekte enthalten, und die Autoren sagen, dass für hochdynamische Umgebungen weitere Arbeit nötig ist.
Es werden keine Inertialdaten verwendet; die Autoren merken an, dass diese das Tracking bei schnellen Drehungen und in merkmalsarmen Szenen, in denen LiDAR weniger informativ ist, unterstützen könnten.
Ein Betrieb im Stadtmaßstab könnte andere Eingabe-Merkmalseinbettungen und Heuristiken zur Strahlauswahl erfordern (laut den Autoren).
Die Karte enthält nur Geometrie; RGB ohne Verlust der Echtzeitleistung hinzuzufügen, ist künftige Arbeit (laut den Autoren).
Auf der Außen-Sequenz Quad erzeugte SHINE Mapping (mit Ground-Truth-Posen) vollständigere Geometrie und erfasste Säulen, die LONER auslässt, und der Trajektorienfehler von LeGO-LOAM war etwas geringer.

Wirkung auf das Fachgebiet

Gewinner des RA-L 2024 Best Paper Award und 56-mal zitiert. Die Autoren stellen die vollständigen Auswertungsdaten auf der Projektseite bereit, die auch das Code-Repository verlinkt.

Zusammenfassung

Dieses Paper schlägt LONER vor, den ersten Echtzeit-LiDAR-SLAM-Algorithmus, der eine neuronale implizite Szenenrepräsentation nutzt. Bestehende implizite Mapping-Methoden für LiDAR zeigen vielversprechende Ergebnisse bei großräumiger Rekonstruktion, benötigen aber entweder Ground-Truth-Posen oder laufen langsamer als in Echtzeit. Im Gegensatz dazu verwendet LONER LiDAR-Daten, um ein MLP so zu trainieren, dass es in Echtzeit eine dichte Karte schätzt, während gleichzeitig die Trajektorie des Sensors geschätzt wird. Um Echtzeitleistung zu erreichen, schlägt dieses Paper eine neuartige informationstheoretische Verlustfunktion vor, die berücksichtigt, dass verschiedene Bereiche der Karte während des Online-Trainings unterschiedlich gut gelernt sein können. Die vorgeschlagene Methode wird qualitativ und quantitativ auf zwei Open-Source-Datensätzen ausgewertet. Diese Auswertung zeigt, dass die vorgeschlagene Verlustfunktion schneller konvergiert und zu einer genaueren Geometrierekonstruktion führt als andere Verlustfunktionen, die in tiefenüberwachten neuronalen impliziten Frameworks verwendet werden. Schließlich zeigt dieses Paper, dass LONER Trajektorien konkurrenzfähig zu LiDAR-SLAM-Methoden auf dem Stand der Technik schätzt und zugleich dichte Karten erzeugt, die mit bestehenden impliziten Echtzeit-Mapping-Methoden mit Ground-Truth-Posen konkurrieren können.

Open Source Robotics