H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

Auteurs: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Une SDF grossière stockée dans un octree, complétée par un résidu encodé par hachage, permet d'exécuter une cartographie RGB-D de type NeRF à bord de cartes Jetson Orin, sur un dispositif portatif et sur un quadrirotor.

Pourquoi c'est important

Un robot doté seulement d'un ordinateur de classe Jetson peut construire une carte dense texturée pendant qu'il se déplace, au lieu de reconstruire hors ligne après coup. Comme la méthode reçoit les poses de n'importe quel système de suivi externe, elle peut se placer derrière une chaîne d'odométrie visuo-inertielle existante, comme le montrent les auteurs avec un VINS-Mono modifié et une RealSense L515.

Problème

Les cartographes fondés sur NeRF comme NICE-SLAM et Vox-Fusion produisent des cartes compactes et peuvent rendre de nouveaux points de vue, mais leurs caractéristiques implicites demandent longtemps à optimiser, si bien qu'ils ne peuvent pas fonctionner en temps réel, même sur un AGX Orin. Les cartes explicites (grilles d'occupation, TSDF, surfels, maillages) sont rapides mais nécessitent beaucoup de mémoire pour les détails fins et ne peuvent pas rendre de nouvelles vues réalistes.

Solution proposée

La géométrie grossière est stockée explicitement sous forme de valeurs SDF aux sommets d'un octree de voxels creux (voxels feuilles de 10 cm), initialisées en projetant chaque sommet dans l'image de profondeur ; un encodage par hachage multirésolution avec de petits MLP n'apprend que la SDF résiduelle et la couleur. Les voxels sont étendus lorsque des points se trouvent sur une arête de voxel afin de ne pas perdre de surfaces, les images clés sont choisies pour couvrir le plus possible de voxels non encore optimisés, et l'optimisation s'arrête tôt lorsque la perte cesse de s'améliorer.

Idées clés

• Projeter les sommets des voxels dans une seule image de profondeur donne déjà une SDF grossière exploitable, de sorte que la géométrie est presque juste dès les premières itérations
• Ne laisser l'encodage par hachage apprendre que la SDF résiduelle est plus facile que d'apprendre la SDF complète et améliore à la fois la précision et la qualité de rendu pour un même nombre d'itérations
• Allouer un voxel supplémentaire lorsque tous les points rétroprojetés se trouvent sur une arête de voxel évite les trous là où une valeur de SDF proche de zéro change de signe pendant l'optimisation
• Choisir les images clés de façon à couvrir le plus grand nombre de voxels non encore optimisés, puis réinitialiser une fois tous couverts, améliore les régions rarement vues comme les plafonds sans ajouter d'échantillons d'entraînement

Principaux résultats

• Replica (8 scènes, poses de vérité terrain) : Depth L1 moyenne de 0,42 cm contre 0,71 cm pour Vox-Fusion et 1,16 cm pour NICE-SLAM ; taux de complétude (<5 cm) de 99,25 % contre 98,55 % et 97,09 %
• Rendu sur Replica : PSNR moyen de 34,49 dB sur les vues d'entraînement et de 30,21 dB sur de nouvelles vues éloignées, contre 31,48 / 27,34 dB pour Vox-Fusion et 30,55 / 28,08 dB pour NICE-SLAM
• Temps moyen de traitement par image sur Replica Room0 : 0,05 s sur une RTX 4090, 0,36 s sur AGX Orin et 0,66 s sur Orin NX, contre 0,34 / 1,68 / 3,52 s pour Vox-Fusion et 2,69 / 13,01 / 19,03 s pour NICE-SLAM
• Ablation (Table III) : supprimer la stratégie d'images clés fait chuter le PSNR de 34,49 à 33,65 dB et dégrade la précision de 1,12 à 1,28 cm ; supprimer l'extension des voxels fait chuter le taux de complétude de 99,25 % à 98,52 %
• Essais réels entièrement embarqués : un appartement d'environ 127 m² de surface maillée cartographié avec un dispositif portatif AGX Orin, et une partie d'une arène de vol d'environ 58 m² cartographiée avec un quadrirotor portant un Orin NX

Limites

• Les auteurs indiquent que la méthode ne peut pas gérer les objets dynamiques
• Les auteurs indiquent qu'elle ne peut pas gérer la dérive de pose à long terme
• Les auteurs indiquent qu'une accélération supplémentaire reste nécessaire
• Il s'agit uniquement d'un module de cartographie : les poses doivent provenir d'un système de suivi distinct, et les comparaisons de référence utilisent des poses de vérité terrain pour toutes les méthodes
• Les résultats sur ScanNet sont uniquement qualitatifs, car aucun maillage de vérité terrain n'est disponible pour ce jeu de données

Impact sur le domaine

A reçu le RA-L 2024 Best Paper Award et compte 58 citations. L'article indique que son code sera publié sur github.com/SYSU-STAR/H2-Mapping.

Résumé

Construire une carte dense de haute qualité en temps réel est essentiel pour la robotique, l'AR/VR et les applications de jumeaux numériques. Comme les Neural Radiance Fields (NeRF) améliorent fortement les performances de cartographie, nous proposons dans cet article une méthode de cartographie fondée sur NeRF qui permet une reconstruction de meilleure qualité et un fonctionnement en temps réel, même sur des ordinateurs embarqués. Plus précisément, nous proposons une nouvelle représentation hybride hiérarchique qui exploite un encodage par hachage multirésolution implicite aidé par des a priori SDF explicites en octree, décrivant la scène à différents niveaux de détail. Cette représentation permet une initialisation rapide de la géométrie de la scène et rend celle-ci plus facile à apprendre. En outre, nous présentons une stratégie de sélection d'images clés maximisant la couverture afin de traiter le problème de l'oubli et d'améliorer la qualité de la cartographie, en particulier dans les zones marginales. À notre connaissance, notre méthode est la première à réaliser en temps réel une cartographie de haute qualité fondée sur NeRF sur les ordinateurs embarqués d'appareils portatifs et de quadrirotors. Les expériences montrent que notre méthode surpasse les méthodes de cartographie fondées sur NeRF existantes en précision géométrique, en réalisme des textures et en temps de calcul. Le code sera publié à l'adresse : https://github.com/SYSU-STAR/H2-Mapping

Liens

• arXiv 2306.03207: https://arxiv.org/abs/2306.03207
• DOI 10.1109/LRA.2023.3313051: https://doi.org/10.1109/LRA.2023.3313051
• PDF: https://arxiv.org/pdf/2306.03207v1
• Code: https://github.com/SYSU-STAR/H2-Mapping