H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

Autoren: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein in einem Octree gespeichertes grobes SDF plus ein hash-codiertes Residuum lassen RGB-D-Mapping im NeRF-Stil an Bord von Jetson-Orin-Boards laufen, auf einem Handgerät und einem Quadrocopter.

Warum es wichtig ist

Ein Roboter mit nur einem Computer der Jetson-Klasse kann während der Fahrt eine texturierte dichte Karte erstellen, statt im Nachhinein offline zu rekonstruieren. Da die Methode Posen von einem beliebigen externen Tracker übernimmt, kann sie hinter einem bestehenden Stack für visuell-inertiale Odometrie sitzen, wie die Autoren mit einem modifizierten VINS-Mono und einer RealSense L515 zeigen.

Problem

NeRF-basierte Mapper wie NICE-SLAM und Vox-Fusion liefern kompakte Karten und können neue Blickwinkel rendern, doch ihre impliziten Merkmale brauchen lange zur Optimierung, sodass sie selbst auf einem AGX Orin nicht in Echtzeit laufen. Explizite Karten (Belegungsgitter, TSDF, Surfels, Meshes) sind schnell, benötigen aber für feine Details viel Speicher und können keine realistischen neuen Ansichten rendern.

Lösungsansatz

Grobe Geometrie wird explizit als SDF-Werte an den Eckpunkten eines dünn besetzten Voxel-Octrees (Blattvoxel von 10 cm) gespeichert und durch Projektion jedes Eckpunkts in das Tiefenbild initialisiert; ein Multiresolution-Hash-Encoding mit kleinen MLPs lernt nur das Residuum des SDF und die Farbe. Voxel werden erweitert, wenn Punkte auf einer Voxelkante liegen, damit keine Oberflächen verloren gehen, Keyframes werden so gewählt, dass sie möglichst viele noch nicht optimierte Voxel abdecken, und die Optimierung bricht früh ab, wenn sich der Verlust nicht mehr verbessert.

Wichtigste Erkenntnisse

Schon die Projektion der Voxel-Eckpunkte in ein einzelnes Tiefenbild liefert ein brauchbares grobes SDF, sodass die Geometrie ab den ersten Iterationen nahezu stimmt
Das Hash-Encoding nur das Residuum des SDF lernen zu lassen, ist einfacher als das vollständige SDF zu lernen, und steigert bei gleicher Iterationszahl sowohl Genauigkeit als auch Renderqualität
Ein zusätzliches Voxel anzulegen, wenn alle rückprojizierten Punkte auf einer Voxelkante liegen, verhindert Löcher dort, wo ein SDF-Wert nahe null während der Optimierung das Vorzeichen wechselt
Keyframes so zu wählen, dass sie die meisten noch nicht optimierten Voxel abdecken, und nach vollständiger Abdeckung zurückzusetzen, verbessert selten gesehene Bereiche wie Decken, ohne Trainingsstichproben hinzuzufügen

Hauptergebnisse

Replica (8 Szenen, Ground-Truth-Posen): mittleres Depth L1 0,42 cm gegenüber 0,71 cm für Vox-Fusion und 1,16 cm für NICE-SLAM; Vollständigkeitsrate (<5 cm) 99,25 % gegenüber 98,55 % und 97,09 %
Rendering auf Replica: mittlerer PSNR 34,49 dB auf Trainingsansichten und 30,21 dB auf entfernten neuen Ansichten, gegenüber 31,48 / 27,34 dB für Vox-Fusion und 30,55 / 28,08 dB für NICE-SLAM
Mittlere Verarbeitungszeit pro Frame auf Replica Room0: 0,05 s auf einer RTX 4090, 0,36 s auf AGX Orin und 0,66 s auf Orin NX, gegenüber 0,34 / 1,68 / 3,52 s für Vox-Fusion und 2,69 / 13,01 / 19,03 s für NICE-SLAM
Ablation (Table III): Ohne die Keyframe-Strategie sinkt der PSNR von 34,49 auf 33,65 dB und die Genauigkeit verschlechtert sich von 1,12 auf 1,28 cm; ohne Voxelerweiterung sinkt die Vollständigkeitsrate von 99,25 % auf 98,52 %
Reale Läufe vollständig an Bord: eine Wohnung mit etwa 127 m² Mesh-Oberfläche, kartiert mit einem handgehaltenen AGX-Orin-Aufbau, und ein Teil einer Flugarena von etwa 58 m², kartiert mit einem Quadrocopter mit Orin NX

Einschränkungen

Die Autoren geben an, dass die Methode keine dynamischen Objekte verarbeiten kann
Die Autoren geben an, dass sie keine langfristige Posendrift verarbeiten kann
Die Autoren geben an, dass eine weitere Beschleunigung noch erforderlich ist
Es handelt sich nur um ein Mapping-Modul: Posen müssen von einem separaten Tracker kommen, und die Benchmark-Vergleiche verwenden für alle Methoden Ground-Truth-Posen
Die Ergebnisse auf ScanNet sind nur qualitativ, weil für diesen Datensatz keine Ground-Truth-Meshes verfügbar sind

Wirkung auf das Fachgebiet

Erhielt den RA-L 2024 Best Paper Award und hat 58 Zitationen. Das Paper gibt an, dass der Code unter github.com/SYSU-STAR/H2-Mapping veröffentlicht wird.

Zusammenfassung

Die Erstellung einer hochwertigen dichten Karte in Echtzeit ist für Anwendungen in Robotik, AR/VR und digitalen Zwillingen unerlässlich. Da Neural Radiance Fields (NeRF) die Mapping-Leistung stark verbessern, schlagen wir in diesem Paper eine NeRF-basierte Mapping-Methode vor, die eine höherwertige Rekonstruktion und Echtzeitfähigkeit selbst auf Edge-Computern ermöglicht. Konkret schlagen wir eine neuartige hierarchische hybride Repräsentation vor, die implizites Multiresolution-Hash-Encoding, unterstützt durch explizite Octree-SDF-Priors, nutzt und die Szene auf verschiedenen Detailebenen beschreibt. Diese Repräsentation ermöglicht eine schnelle Initialisierung der Szenengeometrie und macht die Szenengeometrie leichter erlernbar. Außerdem stellen wir eine abdeckungsmaximierende Strategie zur Keyframe-Auswahl vor, um das Problem des Vergessens anzugehen und die Mapping-Qualität insbesondere in Randbereichen zu verbessern. Nach unserem Wissen ist unsere Methode die erste, die hochwertiges NeRF-basiertes Mapping in Echtzeit auf Edge-Computern von Handgeräten und Quadrocoptern erreicht. Experimente zeigen, dass unsere Methode bestehende NeRF-basierte Mapping-Methoden in Geometriegenauigkeit, Texturrealismus und Zeitaufwand übertrifft. Der Code wird veröffentlicht unter: https://github.com/SYSU-STAR/H2-Mapping

Open Source Robotics