Truncated Signed Distance Function
- Aussi appelé: TSDF, truncated signed distance field
- Catégorie: Sensing › 3D maps & reconstruction
- Mots-clés: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception
Une carte de voxels qui stocke la distance signée à la surface la plus proche seulement dans une fine bande autour d'elle, fusionnée à partir de nombreuses images de profondeur pour construire des modèles 3D denses.
Définition
Une fonction de distance signée tronquée (truncated signed distance function, TSDF) représente implicitement une surface 3D sur une grille de voxels. Chaque voxel proche de la surface stocke une distance signée à celle-ci, positive devant la surface (dans l'espace libre vu depuis le capteur) et négative derrière, et la surface elle-même est le passage par zéro. Les valeurs sont bornées, ou tronquées, à une bande de quelques voxels de chaque côté. Les voxels éloignés de toute surface ne contiennent aucune distance utile, ce qui économise du calcul et évite de corrompre des régions lointaines par des mesures bruitées.
La méthode de fusion volumétrique de Curless et Levoy (1996) a introduit la mise à jour standard. Pour chaque nouvelle image de profondeur, chaque voxel situé dans le champ de la caméra est projeté dans l'image, la distance le long du rayon de la caméra entre le voxel et la profondeur mesurée est calculée puis tronquée, et le résultat est intégré dans une moyenne glissante pondérée propre à chaque voxel. Moyenner de nombreuses vues annule le bruit du capteur et complète les surfaces vues sous différents angles. KinectFusion (Newcombe et al., 2011) a montré ce procédé en temps réel sur un GPU avec une caméra de profondeur tenue à la main, et des systèmes ultérieurs comme InfiniTAM et Voxblox utilisent le hachage de voxels ou des blocs alloués seulement près des surfaces afin que de grandes scènes tiennent en mémoire. Un maillage est extrait par marching cubes, ou le passage par zéro est trouvé par lancer de rayons pour le rendu et le suivi.
Une TSDF est apparentée à un champ de distance signée (signed distance field) complet, mais n'est pas la même chose. Comme les distances sont mesurées le long des rayons de la caméra et coupées à la bande de troncature, elles ne sont que des approximations de la vraie distance euclidienne près de la surface, et elles ne disent rien de l'espace qui en est éloigné. Les planificateurs qui ont besoin partout de la distance à l'obstacle le plus proche, comme les optimiseurs de trajectoire à base de gradient, calculent généralement un champ de distance signée euclidien à partir de la TSDF, comme le fait Voxblox. La TSDF est avant tout un outil de reconstruction et de fusion, tandis que le champ complet est une structure de requête pour la planification.
Pourquoi c'est important
La fusion TSDF est le moyen le plus utilisé pour transformer un flux d'images de profondeur bruitées en un modèle 3D dense et propre. Les robots s'en servent pour reconstruire des objets en vue de la préhension, construire des cartes pour la navigation et produire des maillages et des nuages de points aux normales fiables.
Applications principales
- Reconstruction 3D dense à partir de caméras RGB-D et de profondeur
- Modèles d'objets et de scènes pour la planification de prise
- Cartographie pour micro-drones et robots mobiles
- Construction de champs de distance euclidienne pour la détection de collisions
- Génération de maillages pour jumeaux numériques et ressources de simulation
En pratique
Un manipulateur équipé d'une caméra de profondeur montée au poignet balaie une table encombrée le long d'un arc court et acquiert environ 20 images de profondeur. La pose de caméra de chaque image provient de la cinématique directe et de la calibration main-œil. Les images sont fusionnées dans une TSDF avec des voxels de 3 à 5 mm et une distance de troncature de quelques voxels, et le passage par zéro est extrait sous forme de nuage de points avec normales de surface. Le planificateur de prise travaille sur ce nuage fusionné plutôt que sur une seule image, ce qui supprime les trous dus aux occultations et réduit le bruit sur les bords. Si la calibration du bras est décalée, les surfaces fusionnées apparaissent dédoublées ou floues, ce qui est souvent le premier signe qu'il faut refaire la calibration extrinsèque.
Idées reçues
- Une TSDF et un champ de distance signée sont la même chose — une TSDF stocke des distances approchées, fondées sur les rayons, seulement près des surfaces, alors qu'un champ complet donne partout la distance à la surface la plus proche
- La fusion TSDF corrige les erreurs de pose — elle suppose les poses de caméra connues ; de mauvaises poses produisent des surfaces dédoublées ou étalées
- Des voxels plus petits donnent toujours de meilleurs modèles — des voxels très petits coûtent de la mémoire et reçoivent chacun moins de mesures, si bien que le bruit peut augmenter
Qui devrait le savoir
- Ingénieurs en perception 3D et en cartographie
- Ingénieurs en manipulation qui construisent des modèles de scène pour la préhension
- Chercheurs en SLAM et en reconstruction
- Développeurs de chaînes de cartographie pour robots aériens et mobiles
Technologies associées
- KinectFusion
- InfiniTAM
- Voxblox
- Open3D
- Marching cubes
- Hachage de voxels (Voxel Hashing)
Termes associés
Projets associés
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)