Semantic Map

• Também chamado: semantic mapping
• Categoria: Sensing › 3D maps & reconstruction
• Tags: mapping, semantic-perception, embodied-ai, navigation, scene-understanding

Um mapa que registra o que as coisas são, como classes de objetos, instâncias ou cômodos, junto com onde estão, para que os robôs possam agir sobre objetivos expressos em termos de objetos e lugares.

Definição

Um mapa semântico (semantic map) acrescenta significado a um mapa geométrico. Além de registrar onde estão as superfícies e o espaço livre, ele rotula partes do mapa com categorias como chão, porta, cadeira ou cozinha, e muitas vezes rastreia instâncias individuais de objetos e suas posições. Os rótulos geralmente vêm de segmentação semântica ou detecção de objetos em imagens de câmera, projetados em 3D usando a profundidade de uma câmera RGB-D, de um par estéreo ou de uma rede de predição de profundidade, junto com a pose do robô.

Os mapas semânticos assumem várias formas. Grades vistas de cima ou grades de voxels 3D armazenam uma probabilidade de classe por célula e são comuns em agentes de navegação incorporada e de seguimento de instruções. Mapas em nível de objeto mantêm uma lista de objetos com poses, formas e atributos. Grafos de cena 3D organizam o ambiente hierarquicamente em edifícios, andares, cômodos, lugares e objetos, com arestas para as relações espaciais. Mapas mais recentes armazenam características de visão e linguagem, por exemplo do CLIP, em cada ponto ou célula, de modo que podem ser consultados com texto de vocabulário aberto em vez de um conjunto fixo de rótulos.

Construir um mapa semântico levanta os mesmos problemas do mapeamento geométrico, como deriva da pose e fechamento de loop, além de alguns próprios: erros de segmentação, rótulos que mudam com o ponto de vista e objetos que se movem. Os sistemas fundem os rótulos de muitas vistas, por exemplo acumulando probabilidades de classe por célula, e atualizam ou removem objetos que não são mais observados. Para um planejador, a vantagem é que um objetivo como "coloque a caneca na pia" pode ser ancorado em coordenadas do mapa, e que objetos fora da vista atual ainda podem ser encontrados pela memória.

Por que importa

Os robôs recebem cada vez mais tarefas em termos de objetos e lugares em vez de coordenadas. Os mapas semânticos ligam essas palavras a locais, dando a planejadores guiados por linguagem, robôs domésticos e sistemas de inspeção uma memória persistente do que está onde.

Principais aplicações

• Navegação até objetos-alvo e guiada por linguagem
• Manipulação móvel doméstica e busca de objetos
• Ancoragem de instruções em linguagem natural para planejamento de tarefas
• Inspeção de instalações com ativos rotulados
• Detecção de mudanças em armazéns e canteiros de obras

Na prática

Um manipulador móvel em uma casa usa uma câmera RGB-D, uma rede de segmentação e um sistema SLAM. Os rótulos por pixel de cada quadro são projetados em um mapa de voxels usando a imagem de profundidade e a pose atual, e as probabilidades de classe em cada voxel são atualizadas a cada nova vista. Os objetos detectados também são armazenados como instâncias com um centro, uma extensão e a hora em que foram vistos pela última vez. Quando um usuário pede ao robô que traga uma maçã, o planejador de tarefas consulta o mapa em busca de instâncias de maçã, escolhe a mais próxima, planeja um caminho até o espaço livre ao lado dela e detecta a maçã de novo ao chegar, antes de agarrá-la. Se não houver nenhuma maçã no mapa, o planejador manda o robô explorar lugares onde é provável haver maçãs, como a bancada da cozinha.

Equívocos comuns

• Um mapa semântico é só uma imagem rotulada — é um mapa persistente e registrado espacialmente que funde rótulos de muitas vistas ao longo do tempo
• Rótulos semânticos tornam a geometria desnecessária — os planejadores ainda precisam do espaço livre e da geometria de colisão; a semântica é adicionada ao mapa geométrico, não usada no lugar dele
• Depois de mapeados, os objetos ficam onde estão — objetos são movidos, então os mapas semânticos precisam de políticas para atualizar e esquecer entradas

Quem deve saber

• Pesquisadores de IA incorporada (embodied AI) e navegação
• Engenheiros de manipulação móvel
• Engenheiros de percepção e SLAM
• Desenvolvedores de planejadores de robôs guiados por linguagem

Tecnologias relacionadas

• Segmentação semântica (Semantic Segmentation)
• Grafos de cena 3D (3D Scene Graphs)
• CLIP
• Kimera
• SLAM RGB-D (RGB-D SLAM)

Termos relacionados

• SLAM
• Topological Map
• Embodied AI
• Task Planning
• Point Cloud
• Open-Vocabulary Detection

Projetos relacionados

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL