H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

Autori: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un SDF grossolano memorizzato in un octree più un residuo con codifica hash permettono alla mappatura RGB-D in stile NeRF di girare a bordo di schede Jetson Orin, su un dispositivo portatile e su un quadricottero.

Perché è importante

Un robot dotato solo di un computer di classe Jetson può costruire una mappa densa con texture mentre si muove, invece di ricostruirla offline in seguito. Poiché il metodo prende le pose da qualsiasi tracker esterno, può affiancarsi a uno stack di odometria visivo-inerziale esistente, come mostrano gli autori con un VINS-Mono modificato e una RealSense L515.

Problema

I sistemi di mappatura basati su NeRF come NICE-SLAM e Vox-Fusion forniscono mappe compatte e possono renderizzare nuovi punti di vista, ma le loro feature implicite richiedono molto tempo per essere ottimizzate, quindi non riescono a girare in tempo reale nemmeno su un AGX Orin. Le mappe esplicite (griglie di occupazione, TSDF, surfel, mesh) sono veloci ma richiedono molta memoria per i dettagli fini e non possono renderizzare nuove viste realistiche.

Soluzione proposta

La geometria grossolana è memorizzata esplicitamente come valori SDF ai vertici di un octree sparso di voxel (voxel foglia da 10 cm), inizializzati proiettando ogni vertice nell'immagine di profondità; una codifica hash multirisoluzione con piccoli MLP apprende solo l'SDF residuo e il colore. I voxel vengono espansi quando dei punti cadono su uno spigolo di voxel, così le superfici non vanno perse, i keyframe sono scelti per coprire quanti più voxel non ancora ottimizzati possibile, e l'ottimizzazione si ferma in anticipo quando la loss smette di migliorare.

Idee chiave

Proiettare i vertici dei voxel in una sola immagine di profondità fornisce già un SDF grossolano utilizzabile, quindi la geometria è quasi corretta fin dalle prime iterazioni
Far apprendere alla codifica hash solo l'SDF residuo è più facile che apprendere l'SDF completo e migliora sia l'accuratezza sia la qualità di rendering a parità di iterazioni
Allocare un voxel in più quando tutti i punti retroproiettati cadono su uno spigolo di voxel evita buchi dove un valore di SDF vicino a zero cambia segno durante l'ottimizzazione
Selezionare i keyframe in modo da coprire il maggior numero di voxel non ancora ottimizzati, ricominciando quando sono tutti coperti, migliora regioni viste di rado come i soffitti senza aggiungere campioni di addestramento

Risultati principali

Replica (8 scene, pose di riferimento): Depth L1 medio di 0,42 cm contro 0,71 cm di Vox-Fusion e 1,16 cm di NICE-SLAM; tasso di completezza (<5 cm) del 99,25 % contro il 98,55 % e il 97,09 %
Rendering su Replica: PSNR medio di 34,49 dB sulle viste di addestramento e di 30,21 dB su nuove viste distanti, contro 31,48 / 27,34 dB di Vox-Fusion e 30,55 / 28,08 dB di NICE-SLAM
Tempo medio di elaborazione per frame su Replica Room0: 0,05 s su una RTX 4090, 0,36 s su AGX Orin e 0,66 s su Orin NX, contro 0,34 / 1,68 / 3,52 s di Vox-Fusion e 2,69 / 13,01 / 19,03 s di NICE-SLAM
Ablazione (Tabella III): rimuovere la strategia dei keyframe fa scendere il PSNR da 34,49 a 33,65 dB e peggiora l'accuratezza da 1,12 a 1,28 cm; rimuovere l'espansione dei voxel fa scendere il tasso di completezza dal 99,25 % al 98,52 %
Prove reali interamente a bordo: un appartamento di circa 127 m² di superficie della mesh mappato con un dispositivo portatile con AGX Orin, e parte di un'arena di volo di circa 58 m² mappata con un quadricottero che trasporta un Orin NX

Limiti

Gli autori affermano che il metodo non può gestire oggetti dinamici
Gli autori affermano che non può gestire la deriva della posa a lungo termine
Gli autori affermano che serve un'ulteriore accelerazione
È solo un modulo di mappatura: le pose devono provenire da un tracker separato, e i confronti sui benchmark usano pose di riferimento reali per tutti i metodi
I risultati su ScanNet sono solo qualitativi, perché per quel dataset non sono disponibili mesh di riferimento

Impatto sul settore

Ha ricevuto il RA-L 2024 Best Paper Award e conta 58 citazioni. L'articolo afferma che il codice sarà rilasciato su github.com/SYSU-STAR/H2-Mapping.

Abstract

Costruire in tempo reale una mappa densa di alta qualità è essenziale per applicazioni di robotica, AR/VR e gemelli digitali. Poiché i Neural Radiance Field (NeRF) migliorano notevolmente le prestazioni di mappatura, in questo articolo proponiamo un metodo di mappatura basato su NeRF che consente una ricostruzione di qualità superiore e capacità in tempo reale anche su computer edge. In particolare, proponiamo una nuova rappresentazione ibrida gerarchica che sfrutta una codifica hash multirisoluzione implicita supportata da prior SDF espliciti su octree, descrivendo la scena a diversi livelli di dettaglio. Questa rappresentazione consente un'inizializzazione rapida della geometria della scena e rende la geometria più facile da apprendere. Inoltre, presentiamo una strategia di selezione dei keyframe che massimizza la copertura per affrontare il problema della dimenticanza e migliorare la qualità della mappatura, in particolare nelle aree marginali. Per quanto ci risulta, il nostro metodo è il primo a ottenere in tempo reale una mappatura di alta qualità basata su NeRF sui computer edge di dispositivi portatili e quadricotteri. Gli esperimenti dimostrano che il nostro metodo supera i metodi di mappatura basati su NeRF esistenti in accuratezza geometrica, realismo delle texture e tempo di calcolo. Il codice sarà rilasciato su: https://github.com/SYSU-STAR/H2-Mapping

Link

arXiv 2306.03207: https://arxiv.org/abs/2306.03207
DOI 10.1109/LRA.2023.3313051: https://doi.org/10.1109/LRA.2023.3313051
PDF: https://arxiv.org/pdf/2306.03207v1
Codice: https://github.com/SYSU-STAR/H2-Mapping