NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

Auteurs: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

NGEL-SLAM associe le suivi et la fermeture de boucle d'ORB-SLAM3 à plusieurs sous-cartes neuronales fondées sur des octrees, de sorte que la carte dense est réalignée rapidement après une fermeture de boucle au lieu d'être réentraînée.

Pourquoi c'est important

Les robots qui construisent des cartes denses de grands espaces intérieurs ont besoin que ces cartes restent cohérentes après une fermeture de boucle et intègrent rapidement les nouvelles images clés. Laisser le suivi à un système fondé sur des caractéristiques et découper la carte neuronale en sous-cartes ancrées procure les deux sans réentraîner toute la carte.

Problème

Les systèmes SLAM implicites neuronaux tels qu'iMAP et NICE-SLAM fournissent une géométrie dense mais effectuent le suivi à travers la carte neuronale, qui n'a pas de fermeture de boucle et perd la cohérence globale dans les grandes scènes. Remplacer le module de suivi par un module classique ne résout pas le problème, car réentraîner une carte de scène unique après les mises à jour de pose dues à la fermeture de boucle est lent, et la convergence lente du réseau de cartographie empêche aussi une cartographie à faible latence.

Solution proposée

ORB-SLAM3 gère le suivi, l'ajustement de faisceaux local et la fermeture de boucle, tandis que la scène est stockée sous forme de plusieurs sous-cartes implicites neuronales locales, chacune ancrée à une image clé. Après l'ajustement de faisceaux global, les sous-cartes sont d'abord déplacées avec leurs poses d'ancrage en temps réel, puis ajustées finement ; chaque sous-carte stocke des caractéristiques multi-niveaux dans un octree creux avec de petits décodeurs MLP d'occupation et de couleur pour une convergence rapide. Les images sont rendues en choisissant, pour chaque pixel, la sous-carte dont l'incertitude de variance d'occupation est la plus faible.

Idées clés

• Représenter la scène sous forme de sous-cartes ancrées permet d'appliquer les corrections de fermeture de boucle en mettant à jour les poses des sous-cartes, ce qui supprime la plus grande partie de l'erreur de carte sans réentraînement ; l'ajustement fin supprime ensuite les petites erreurs restantes.
• Le suivi fondé sur des caractéristiques avec fermeture de boucle (ORB-SLAM3) était plus précis sur TUM RGB-D que le suivi à travers la carte neuronale.
• Un octree creux ne croît que là où l'espace est occupé, ce qui économise de la mémoire par rapport aux grilles de voxels denses tout en conservant une convergence rapide ; ne cartographier que les images clés réduit encore le nombre d'images de cartographie et les E/S de données.
• La variance d'occupation rendue est corrélée positivement à l'erreur de profondeur et négativement au PSNR, de sorte qu'elle sert de critère pour choisir quelle sous-carte rend chaque pixel.

Principaux résultats

• Replica (8 scènes), rendu avec les poses estimées : L1 de profondeur 0,65 cm, PSNR 30,44, SSIM 0,876, LPIPS 0,151, contre 2,28 cm, 29,25, 0,855 et 0,190 pour ESLAM ; avec les poses de vérité terrain : 1,28 cm, 29,53, 0,864 et 0,156 contre 2,81 cm, 27,33, 0,836 et 0,204 pour ESLAM.
• Suivi sur TUM RGB-D (ATE RMSE) : 1,5 cm sur fr1/desk, 0,5 cm sur fr2/xyz et 1,0 cm sur fr3/office, contre 2,5, 1,1 et 2,4 cm pour ESLAM.
• Suivi sur ScanNet (6 scènes) : ATE RMSE moyen de 7,44 cm contre 7,50 cm pour ESLAM, 9,63 cm pour NICE-SLAM et 36,67 cm pour iMAP ; erreur la plus faible sur 3 des 6 scènes.
• Temps de cartographie par itération : 14 ms contre 19 ms (ESLAM), 130 ms (NICE-SLAM) et 448 ms (iMAP), avec 120 images de cartographie au lieu de 400 ; la légende de la Fig. 1 présente cela comme une exécution 10x plus rapide que NICE-SLAM.
• Mémoire : 5,32 MB contre 6,79 MB (ESLAM), 12,02 MB (NICE-SLAM) et 1,04 MB (iMAP).
• L'ajustement fin de la carte a amélioré le L1 de profondeur sur Replica de 1,34 à 1,28 cm et le PSNR de 28,39 à 29,53.

Limites

• La conclusion limite le système aux scènes intérieures, et il nécessite un flux d'entrée RGB-D.
• L'évaluation n'utilise que des jeux de données enregistrés (Replica, ScanNet, TUM RGB-D et la séquence d'appartement de NICE-SLAM) ; aucun déploiement sur robot ni avec capteur en direct n'est rapporté.
• Sur ScanNet, il n'a pas l'erreur la plus faible sur trois des six scènes (0106, 0181, 0207), et son avance moyenne sur ESLAM est de 0,06 cm.
• iMAP utilise moins de mémoire (1,04 MB contre 5,32 MB) parce qu'il stocke la scène dans un seul MLP.
• La seconde étape du traitement de la fermeture de boucle, l'ajustement fin des sous-cartes, s'exécute plus lentement que le temps réel.

Impact sur le domaine

Lauréat du prix IEEE ICRA 2024 Best Paper Award in Robot Vision, avec 40 citations. L'article ne fournit aucun lien vers du code ou une page de projet.

Résumé

Les représentations implicites neuronales sont apparues comme une solution prometteuse pour fournir une géométrie dense en localisation et cartographie simultanées (SLAM). Cependant, les méthodes existantes dans cette direction restent insuffisantes en matière de cohérence globale et de faible latence. Cet article présente NGEL-SLAM pour relever ces défis. Pour garantir la cohérence globale, notre système s'appuie sur un module de suivi classique fondé sur des caractéristiques, qui intègre la fermeture de boucle. En outre, nous maintenons une carte globalement cohérente en représentant la scène à l'aide de plusieurs champs implicites neuronaux, ce qui permet un ajustement rapide à la fermeture de boucle. De plus, notre système permet une convergence rapide grâce à l'utilisation de représentations implicites fondées sur des octrees. La combinaison d'une réponse rapide à la fermeture de boucle et d'une convergence rapide fait de notre système un système véritablement à faible latence qui atteint la cohérence globale. Notre système permet de rendre des images RGB-D haute fidélité, ainsi que d'extraire des surfaces denses et complètes. Des expériences sur des jeux de données synthétiques et réels suggèrent que notre système atteint une précision de suivi et de cartographie à l'état de l'art tout en conservant une faible latence.

Liens

• arXiv 2311.09525: https://arxiv.org/abs/2311.09525
• DOI 10.1109/ICRA57147.2024.10611269: https://doi.org/10.1109/ICRA57147.2024.10611269
• PDF: https://arxiv.org/pdf/2311.09525v1