Semantic Map

• También llamado: semantic mapping
• Categoría: Sensing › 3D maps & reconstruction
• Etiquetas: mapping, semantic-perception, embodied-ai, navigation, scene-understanding

Un mapa que registra qué son las cosas, como clases de objetos, instancias o habitaciones, junto con dónde están, para que los robots puedan actuar sobre objetivos expresados en términos de objetos y lugares.

Definición

Un mapa semántico (semantic map) añade significado a un mapa geométrico. Además de registrar dónde están las superficies y el espacio libre, etiqueta partes del mapa con categorías como suelo, puerta, silla o cocina, y a menudo sigue instancias individuales de objetos y sus posiciones. Las etiquetas suelen proceder de la segmentación semántica o de la detección de objetos sobre imágenes de cámara, proyectadas en 3D usando la profundidad de una cámara RGB-D, de un par estéreo o de una red de predicción de profundidad, junto con la pose del robot.

Los mapas semánticos adoptan varias formas. Las rejillas cenitales o las rejillas de vóxeles 3D almacenan una probabilidad de clase por celda y son habituales en agentes de navegación corporizada y de seguimiento de instrucciones. Los mapas a nivel de objeto mantienen una lista de objetos con poses, formas y atributos. Los grafos de escena 3D organizan el entorno jerárquicamente en edificios, plantas, habitaciones, lugares y objetos, con aristas para las relaciones espaciales. Los mapas más recientes almacenan características de visión y lenguaje, por ejemplo de CLIP, en cada punto o celda, de modo que pueden consultarse con texto de vocabulario abierto en lugar de con un conjunto fijo de etiquetas.

Construir un mapa semántico plantea los mismos problemas que la cartografía geométrica, como la deriva de la pose y el cierre de bucle, más algunos propios: errores de segmentación, etiquetas que cambian con el punto de vista y objetos que se mueven. Los sistemas fusionan las etiquetas de muchas vistas, por ejemplo acumulando probabilidades de clase por celda, y actualizan o eliminan los objetos que ya no se observan. Para un planificador, la ventaja es que un objetivo como "pon la taza en el fregadero" puede anclarse en coordenadas del mapa, y que los objetos fuera de la vista actual aún pueden encontrarse de memoria.

Por qué importa

Los robots reciben cada vez más tareas en términos de objetos y lugares en lugar de coordenadas. Los mapas semánticos conectan esas palabras con ubicaciones y dan a los planificadores guiados por lenguaje, a los robots domésticos y a los sistemas de inspección una memoria persistente de qué hay en cada sitio.

Aplicaciones clave

• Navegación hacia objetos objetivo y guiada por lenguaje
• Manipulación móvil doméstica y búsqueda de objetos
• Anclaje de instrucciones en lenguaje natural para la planificación de tareas
• Inspección de instalaciones con activos etiquetados
• Detección de cambios en almacenes y obras

En la práctica

Un manipulador móvil en un hogar ejecuta una cámara RGB-D, una red de segmentación y un sistema SLAM. Las etiquetas por píxel de cada fotograma se proyectan en un mapa de vóxeles usando la imagen de profundidad y la pose actual, y las probabilidades de clase de cada vóxel se actualizan con cada nueva vista. Los objetos detectados también se almacenan como instancias con un centro, una extensión y la hora en que se vieron por última vez. Cuando un usuario pide al robot que traiga una manzana, el planificador de tareas consulta el mapa en busca de instancias de manzana, elige la más cercana, planifica una trayectoria hasta el espacio libre junto a ella y vuelve a detectar la manzana al llegar antes de agarrarla. Si no hay ninguna manzana en el mapa, el planificador envía al robot a explorar lugares donde es probable que haya manzanas, como la encimera de la cocina.

Ideas erróneas comunes

• Un mapa semántico es solo una imagen etiquetada — es un mapa persistente y registrado espacialmente que fusiona etiquetas de muchas vistas a lo largo del tiempo
• Las etiquetas semánticas hacen innecesaria la geometría — los planificadores siguen necesitando el espacio libre y la geometría de colisión; la semántica se añade al mapa geométrico, no lo sustituye
• Una vez cartografiados, los objetos se quedan donde están — los objetos se mueven, así que los mapas semánticos necesitan políticas para actualizar y olvidar entradas

Quién debería saberlo

• Investigadores en IA corporizada (embodied AI) y navegación
• Ingenieros de manipulación móvil
• Ingenieros de percepción y SLAM
• Desarrolladores de planificadores de robots guiados por lenguaje

Tecnologías relacionadas

• Segmentación semántica (Semantic Segmentation)
• Grafos de escena 3D (3D Scene Graphs)
• CLIP
• Kimera
• SLAM RGB-D (RGB-D SLAM)

Términos relacionados

• SLAM
• Topological Map
• Embodied AI
• Task Planning
• Point Cloud
• Open-Vocabulary Detection

Proyectos relacionados

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL