Semantic Map

Auch genannt: semantic mapping
Kategorie: Sensing › 3D maps & reconstruction
Schlagwörter: mapping, semantic-perception, embodied-ai, navigation, scene-understanding

Eine Karte, die neben dem Ort von Dingen auch festhält, was sie sind, etwa Objektklassen, Instanzen oder Räume, sodass Roboter nach Zielen handeln können, die in Objekten und Orten formuliert sind.

Definition

Eine semantische Karte (semantic map) fügt einer geometrischen Karte Bedeutung hinzu. Neben der Aufzeichnung, wo Oberflächen und freier Raum sind, versieht sie Teile der Karte mit Kategorien wie Boden, Tür, Stuhl oder Küche und verfolgt oft einzelne Objektinstanzen und ihre Positionen. Die Labels stammen typischerweise aus semantischer Segmentierung oder Objektdetektion auf Kamerabildern und werden mithilfe der Tiefe aus einer RGB-D-Kamera, aus Stereo oder aus einem Netz zur Tiefenschätzung zusammen mit der Pose des Roboters in 3D projiziert.

Semantische Karten gibt es in mehreren Formen. Gitter in Draufsicht oder 3D-Voxelgitter speichern eine Klassenwahrscheinlichkeit pro Zelle und sind bei Agenten für Embodied Navigation und Anweisungsbefolgung verbreitet. Karten auf Objektebene führen eine Liste von Objekten mit Posen, Formen und Attributen. 3D-Szenengraphen ordnen die Umgebung hierarchisch in Gebäude, Stockwerke, Räume, Orte und Objekte, mit Kanten für räumliche Beziehungen. Neuere Karten speichern an jedem Punkt oder in jeder Zelle Vision-Language-Merkmale, zum Beispiel aus CLIP, sodass sie mit Text mit offenem Vokabular statt mit einem festen Labelsatz abgefragt werden können.

Der Aufbau einer semantischen Karte wirft dieselben Probleme auf wie die geometrische Kartierung, etwa Posendrift und Schleifenschluss, und dazu eigene: Segmentierungsfehler, Labels, die sich mit dem Blickwinkel ändern, und Objekte, die sich bewegen. Systeme fusionieren Labels über viele Ansichten, zum Beispiel durch Akkumulieren von Klassenwahrscheinlichkeiten pro Zelle, und aktualisieren oder entfernen Objekte, die nicht mehr beobachtet werden. Für einen Planer besteht der Nutzen darin, dass ein Ziel wie „stell die Tasse in die Spüle“ in Kartenkoordinaten verankert werden kann und dass Objekte außerhalb des aktuellen Sichtfelds trotzdem aus dem Gedächtnis gefunden werden können.

Warum es wichtig ist

Roboter erhalten Aufgaben zunehmend in Form von Objekten und Orten statt Koordinaten. Semantische Karten verbinden diese Wörter mit Orten und geben sprachgesteuerten Planern, Haushaltsrobotern und Inspektionssystemen ein dauerhaftes Gedächtnis dafür, was wo ist.

Wichtige Anwendungen

Navigation zu Objektzielen und sprachgeführte Navigation
Mobile Manipulation und Objektsuche im Haushalt
Verankerung natürlichsprachlicher Anweisungen für die Aufgabenplanung
Anlageninspektion mit gekennzeichneten Anlagenteilen
Erkennung von Veränderungen in Lagern und auf Baustellen

In der Praxis

Ein mobiler Manipulator in einer Wohnung betreibt eine RGB-D-Kamera, ein Segmentierungsnetz und ein SLAM-System. Die pixelweisen Labels jedes Bildes werden mithilfe des Tiefenbildes und der aktuellen Pose in eine Voxelkarte projiziert, und die Klassenwahrscheinlichkeiten in jedem Voxel werden mit jeder neuen Ansicht aktualisiert. Erkannte Objekte werden außerdem als Instanzen mit Mittelpunkt, Ausdehnung und Zeitpunkt der letzten Sichtung gespeichert. Bittet ein Benutzer den Roboter, einen Apfel zu bringen, fragt der Aufgabenplaner die Karte nach Apfel-Instanzen ab, wählt die nächstgelegene, plant einen Pfad zu freiem Raum daneben und erkennt den Apfel bei der Ankunft erneut, bevor er greift. Ist kein Apfel in der Karte, schickt der Planer den Roboter los, um Orte zu erkunden, an denen Äpfel wahrscheinlich sind, etwa die Küchenarbeitsplatte.

Häufige Missverständnisse

Eine semantische Karte ist nur ein beschriftetes Bild — sie ist eine dauerhafte, räumlich registrierte Karte, die Labels aus vielen Ansichten über die Zeit fusioniert
Semantische Labels machen Geometrie überflüssig — Planer brauchen weiterhin freien Raum und Kollisionsgeometrie; Semantik wird der geometrischen Karte hinzugefügt, nicht statt ihrer verwendet
Einmal kartiert, bleiben Objekte an ihrem Platz — Objekte werden bewegt, daher brauchen semantische Karten Regeln zum Aktualisieren und Vergessen von Einträgen

Wer das wissen sollte

Forschende in Embodied AI und Navigation
Ingenieure für mobile Manipulation
Ingenieure für Wahrnehmung und SLAM
Entwickler sprachgesteuerter Roboterplaner

Open Source Robotics