NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

Autori: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

NGEL-SLAM abbina il tracking e la chiusura del loop di ORB-SLAM3 a più sotto-mappe neurali basate su octree, così che la mappa densa venga riallineata rapidamente dopo la chiusura del loop invece di essere riaddestrata.

Perché è importante

I robot che costruiscono mappe dense di grandi ambienti interni hanno bisogno che tali mappe restino coerenti dopo la chiusura del loop e che integrino rapidamente nuovi keyframe. Mantenere il tracking in un sistema basato su feature e dividere la mappa neurale in sotto-mappe ancorate offre entrambe le cose senza riaddestrare l'intera mappa.

Problema

I sistemi SLAM impliciti neurali come iMAP e NICE-SLAM forniscono geometria densa ma eseguono il tracking attraverso la mappa neurale, che non ha chiusura del loop e perde la coerenza globale nelle scene grandi. Sostituire il tracker con uno tradizionale non risolve il problema, perché riaddestrare una singola mappa della scena dopo gli aggiornamenti di posa della chiusura del loop è lento, e la lenta convergenza della rete di mappatura impedisce anche una mappatura a bassa latenza.

Soluzione proposta

ORB-SLAM3 gestisce il tracking, il bundle adjustment locale e la chiusura del loop, mentre la scena è memorizzata come più sotto-mappe implicite neurali locali, ciascuna ancorata a un keyframe. Dopo il bundle adjustment globale, le sotto-mappe vengono prima spostate insieme alle pose delle loro ancore in tempo reale e poi sottoposte a fine-tuning; ogni sotto-mappa memorizza feature multilivello in un octree sparso con piccoli decoder MLP di occupazione e colore per una convergenza rapida. Le immagini vengono renderizzate scegliendo, per ogni pixel, la sotto-mappa con l'incertezza di varianza di occupazione più bassa.

Idee chiave

Rappresentare la scena come sotto-mappe ancorate permette di applicare le correzioni della chiusura del loop aggiornando le pose delle sotto-mappe, il che elimina gran parte dell'errore della mappa senza riaddestramento; il fine-tuning rimuove poi i piccoli errori residui.
Il tracking basato su feature con chiusura del loop (ORB-SLAM3) è risultato più accurato su TUM RGB-D del tracking attraverso la mappa neurale.
Un octree sparso cresce solo dove lo spazio è occupato, quindi risparmia memoria rispetto alle griglie dense di voxel mantenendo una convergenza rapida; mappare solo i keyframe riduce ulteriormente i frame di mappatura e l'I/O dei dati.
La varianza di occupazione renderizzata è correlata positivamente con l'errore di profondità e negativamente con il PSNR, quindi funziona come criterio per scegliere quale sotto-mappa renderizza ciascun pixel.

Risultati principali

Replica (8 scene), rendering con pose stimate: profondità L1 0,65 cm, PSNR 30,44, SSIM 0,876, LPIPS 0,151, contro 2,28 cm, 29,25, 0,855 e 0,190 di ESLAM; con pose ground truth: 1,28 cm, 29,53, 0,864 e 0,156 contro 2,81 cm, 27,33, 0,836 e 0,204 di ESLAM.
Tracking su TUM RGB-D (ATE RMSE): 1,5 cm su fr1/desk, 0,5 cm su fr2/xyz e 1,0 cm su fr3/office, contro 2,5, 1,1 e 2,4 cm di ESLAM.
Tracking su ScanNet (6 scene): ATE RMSE medio di 7,44 cm contro 7,50 cm di ESLAM, 9,63 cm di NICE-SLAM e 36,67 cm di iMAP; errore più basso in 3 scene su 6.
Tempo di mappatura per iterazione: 14 ms contro 19 ms (ESLAM), 130 ms (NICE-SLAM) e 448 ms (iMAP), usando 120 frame di mappatura invece di 400; la didascalia della Fig. 1 lo descrive come 10x più veloce di NICE-SLAM.
Memoria: 5,32 MB contro 6,79 MB (ESLAM), 12,02 MB (NICE-SLAM) e 1,04 MB (iMAP).
Il fine-tuning della mappa ha migliorato la profondità L1 su Replica da 1,34 a 1,28 cm e il PSNR da 28,39 a 29,53.

Limiti

La conclusione limita il sistema alle scene interne, e richiede un flusso di input RGB-D.
La valutazione usa solo dataset registrati (Replica, ScanNet, TUM RGB-D e la sequenza dell'appartamento di NICE-SLAM); non è riportato alcun impiego su robot o con sensori dal vivo.
Su ScanNet non ha l'errore più basso in tre scene su sei (0106, 0181, 0207), e il suo margine medio su ESLAM è di 0,06 cm.
iMAP usa meno memoria (1,04 MB contro 5,32 MB) perché memorizza la scena in un singolo MLP.
La seconda fase della gestione della chiusura del loop, il fine-tuning delle sotto-mappe, gira più lentamente del tempo reale.

Impatto sul settore

Vincitore dell'IEEE ICRA 2024 Best Paper Award in Robot Vision, con 40 citazioni. L'articolo non fornisce link al codice né al progetto.

Abstract

Le rappresentazioni implicite neurali sono emerse come una soluzione promettente per fornire geometria densa nella localizzazione e mappatura simultanee (SLAM). Tuttavia, i metodi esistenti in questa direzione sono carenti in termini di coerenza globale e bassa latenza. Questo articolo presenta NGEL-SLAM per affrontare tali sfide. Per garantire la coerenza globale, il nostro sistema sfrutta un modulo di tracking tradizionale basato su feature che integra la chiusura del loop. Inoltre, manteniamo una mappa globalmente coerente rappresentando la scena tramite più campi impliciti neurali, il che consente un rapido adeguamento alla chiusura del loop. In più, il nostro sistema permette una convergenza rapida grazie all'uso di rappresentazioni implicite basate su octree. La combinazione di una risposta rapida alla chiusura del loop e di una convergenza rapida rende il nostro sistema un sistema realmente a bassa latenza che raggiunge la coerenza globale. Il nostro sistema consente di renderizzare immagini RGB-D ad alta fedeltà e di estrarre superfici dense e complete. Gli esperimenti su dataset sia sintetici sia reali suggeriscono che il nostro sistema raggiunge un'accuratezza di tracking e di mappatura allo stato dell'arte mantenendo una bassa latenza.

Link

arXiv 2311.09525: https://arxiv.org/abs/2311.09525
DOI 10.1109/ICRA57147.2024.10611269: https://doi.org/10.1109/ICRA57147.2024.10611269
PDF: https://arxiv.org/pdf/2311.09525v1