Semantic Map

• Detto anche: semantic mapping
• Categoria: Sensing › 3D maps & reconstruction
• Tag: mapping, semantic-perception, embodied-ai, navigation, scene-understanding

Una mappa che registra che cosa sono le cose, come classi di oggetti, istanze o stanze, oltre a dove si trovano, così che i robot possano agire su obiettivi espressi in termini di oggetti e luoghi.

Definizione

Una mappa semantica (semantic map) aggiunge significato a una mappa geometrica. Oltre a registrare dove si trovano le superfici e lo spazio libero, etichetta parti della mappa con categorie come pavimento, porta, sedia o cucina, e spesso tiene traccia di singole istanze di oggetti e delle loro posizioni. Le etichette provengono di solito dalla segmentazione semantica o dal rilevamento di oggetti sulle immagini della telecamera, proiettate in 3D usando la profondità di una telecamera RGB-D, di una coppia stereo o di una rete di stima della profondità, insieme alla posa del robot.

Le mappe semantiche assumono diverse forme. Griglie viste dall'alto o griglie di voxel 3D memorizzano una probabilità di classe per cella e sono comuni negli agenti di navigazione embodied e di esecuzione di istruzioni. Le mappe a livello di oggetto mantengono un elenco di oggetti con pose, forme e attributi. I grafi di scena 3D organizzano l'ambiente gerarchicamente in edifici, piani, stanze, luoghi e oggetti, con archi per le relazioni spaziali. Le mappe più recenti memorizzano feature di visione e linguaggio, per esempio di CLIP, in ogni punto o cella, così da poter essere interrogate con testo a vocabolario aperto anziché con un insieme fisso di etichette.

Costruire una mappa semantica solleva gli stessi problemi della mappatura geometrica, come la deriva della posa e la chiusura del loop, più alcuni propri: errori di segmentazione, etichette che cambiano con il punto di vista e oggetti che si spostano. I sistemi fondono le etichette di molte viste, per esempio accumulando probabilità di classe per cella, e aggiornano o rimuovono gli oggetti che non vengono più osservati. Per un pianificatore, il vantaggio è che un obiettivo come "metti la tazza nel lavello" può essere ancorato a coordinate della mappa, e che gli oggetti fuori dalla vista corrente possono comunque essere ritrovati a memoria.

Perché è importante

I robot ricevono sempre più spesso compiti espressi in termini di oggetti e luoghi anziché di coordinate. Le mappe semantiche collegano quelle parole a posizioni, dando ai pianificatori guidati dal linguaggio, ai robot domestici e ai sistemi di ispezione una memoria persistente di che cosa si trova dove.

Applicazioni principali

• Navigazione verso oggetti obiettivo e guidata dal linguaggio
• Manipolazione mobile domestica e ricerca di oggetti
• Ancoraggio di istruzioni in linguaggio naturale per la pianificazione dei compiti
• Ispezione di impianti con asset etichettati
• Rilevamento dei cambiamenti in magazzini e cantieri

In pratica

Un manipolatore mobile in una casa usa una telecamera RGB-D, una rete di segmentazione e un sistema SLAM. Le etichette per pixel di ogni fotogramma vengono proiettate in una mappa a voxel usando l'immagine di profondità e la posa corrente, e le probabilità di classe in ogni voxel vengono aggiornate a ogni nuova vista. Gli oggetti rilevati sono anche memorizzati come istanze con un centro, un'estensione e l'ora in cui sono stati visti l'ultima volta. Quando un utente chiede al robot di portare una mela, il pianificatore dei compiti interroga la mappa cercando istanze di mela, sceglie la più vicina, pianifica un percorso verso lo spazio libero accanto a essa e rileva di nuovo la mela all'arrivo prima di afferrarla. Se nella mappa non c'è nessuna mela, il pianificatore manda il robot a esplorare luoghi in cui è probabile trovare mele, come il piano di lavoro della cucina.

Idee sbagliate comuni

• Una mappa semantica è solo un'immagine etichettata — è una mappa persistente e registrata spazialmente che fonde le etichette di molte viste nel tempo
• Le etichette semantiche rendono superflua la geometria — i pianificatori hanno comunque bisogno dello spazio libero e della geometria di collisione; la semantica si aggiunge alla mappa geometrica, non la sostituisce
• Una volta mappati, gli oggetti restano dove sono — gli oggetti vengono spostati, quindi le mappe semantiche hanno bisogno di regole per aggiornare e dimenticare le voci

Chi dovrebbe saperlo

• Ricercatori di embodied AI e navigazione
• Ingegneri di manipolazione mobile
• Ingegneri di percezione e SLAM
• Sviluppatori di pianificatori robotici guidati dal linguaggio

Tecnologie correlate

• Segmentazione semantica (Semantic Segmentation)
• Grafi di scena 3D (3D Scene Graphs)
• CLIP
• Kimera
• SLAM RGB-D (RGB-D SLAM)

Termini correlati

• SLAM
• Topological Map
• Embodied AI
• Task Planning
• Point Cloud
• Open-Vocabulary Detection

Progetti correlati

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL