Semantic Map

• Aussi appelé: semantic mapping
• Catégorie: Sensing › 3D maps & reconstruction
• Mots-clés: mapping, semantic-perception, embodied-ai, navigation, scene-understanding

Une carte qui enregistre ce que sont les choses, comme les classes d'objets, les instances ou les pièces, en plus de l'endroit où elles se trouvent, afin que les robots puissent agir selon des objectifs exprimés en termes d'objets et de lieux.

Définition

Une carte sémantique (semantic map) ajoute du sens à une carte géométrique. En plus d'enregistrer où se trouvent les surfaces et l'espace libre, elle étiquette des parties de la carte avec des catégories comme sol, porte, chaise ou cuisine, et suit souvent des instances d'objets individuelles et leurs positions. Les étiquettes proviennent généralement de la segmentation sémantique ou de la détection d'objets sur les images de caméra, projetées en 3D à l'aide de la profondeur issue d'une caméra RGB-D, de la stéréo ou d'un réseau de prédiction de profondeur, ainsi que de la pose du robot.

Les cartes sémantiques prennent plusieurs formes. Les grilles en vue de dessus ou les grilles 3D de voxels stockent une probabilité de classe par cellule et sont courantes chez les agents de navigation incarnée et de suivi d'instructions. Les cartes au niveau des objets tiennent une liste d'objets avec leurs poses, formes et attributs. Les graphes de scène 3D organisent l'environnement de façon hiérarchique en bâtiments, étages, pièces, lieux et objets, avec des arêtes pour les relations spatiales. Des cartes plus récentes stockent en chaque point ou cellule des caractéristiques vision-langage, par exemple issues de CLIP, afin de pouvoir être interrogées par du texte à vocabulaire ouvert plutôt que par un ensemble fixe d'étiquettes.

Construire une carte sémantique pose les mêmes problèmes que la cartographie géométrique, comme la dérive de pose et la fermeture de boucle, plus quelques-uns qui lui sont propres : les erreurs de segmentation, les étiquettes qui changent selon le point de vue et les objets qui bougent. Les systèmes fusionnent les étiquettes sur de nombreuses vues, par exemple en accumulant les probabilités de classe par cellule, et mettent à jour ou suppriment les objets qui ne sont plus observés. Pour un planificateur, l'avantage est qu'un objectif comme « mets la tasse dans l'évier » peut être ancré dans les coordonnées de la carte, et que des objets hors du champ de vue actuel peuvent encore être retrouvés de mémoire.

Pourquoi c'est important

Les robots reçoivent de plus en plus des tâches formulées en termes d'objets et de lieux plutôt que de coordonnées. Les cartes sémantiques relient ces mots à des emplacements, donnant aux planificateurs pilotés par le langage, aux robots domestiques et aux systèmes d'inspection une mémoire persistante de ce qui se trouve où.

Applications principales

• Navigation vers un objet cible et navigation guidée par le langage
• Manipulation mobile domestique et recherche d'objets
• Ancrage d'instructions en langage naturel pour la planification de tâches
• Inspection d'installations avec des équipements étiquetés
• Détection de changements dans les entrepôts et sur les chantiers

En pratique

Un manipulateur mobile dans un logement fait tourner une caméra RGB-D, un réseau de segmentation et un système de SLAM. Les étiquettes par pixel de chaque image sont projetées dans une carte de voxels à l'aide de l'image de profondeur et de la pose courante, et les probabilités de classe de chaque voxel sont mises à jour à chaque nouvelle vue. Les objets détectés sont aussi stockés comme instances avec un centre, une étendue et une heure de dernière observation. Quand un utilisateur demande au robot d'apporter une pomme, le planificateur de tâches interroge la carte pour trouver des instances de pomme, choisit la plus proche, planifie un chemin vers l'espace libre à côté et redétecte la pomme à l'arrivée avant de la saisir. S'il n'y a pas de pomme dans la carte, le planificateur envoie le robot explorer les endroits où il est probable d'en trouver, comme le plan de travail de la cuisine.

Idées reçues

• Une carte sémantique n'est qu'une image étiquetée — c'est une carte persistante et spatialement recalée qui fusionne au fil du temps les étiquettes de nombreuses vues
• Les étiquettes sémantiques rendent la géométrie inutile — les planificateurs ont toujours besoin de l'espace libre et de la géométrie de collision ; la sémantique s'ajoute à la carte géométrique, elle ne la remplace pas
• Une fois cartographiés, les objets restent à leur place — les objets sont déplacés, donc les cartes sémantiques ont besoin de règles pour mettre à jour et oublier des entrées

Qui devrait le savoir

• Chercheurs en IA incarnée (embodied AI) et en navigation
• Ingénieurs en manipulation mobile
• Ingénieurs en perception et en SLAM
• Développeurs de planificateurs robotiques pilotés par le langage

Technologies associées

• Segmentation sémantique (Semantic Segmentation)
• Graphes de scène 3D (3D Scene Graphs)
• CLIP
• Kimera
• RGB-D SLAM

Termes associés

• SLAM
• Topological Map
• Embodied AI
• Task Planning
• Point Cloud
• Open-Vocabulary Detection

Projets associés

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL