Open-Vocabulary Detection

Auch genannt: open-vocabulary object detection, OVD
Kategorie: Sensing › Perception outputs
Schlagwörter: object-detection, vision-language, computer-vision, perception, zero-shot

Objektdetektion, die durch beliebige Textabfragen beschriebene Objekte findet, einschließlich Kategorien, die im Training nie gelabelt wurden, indem sie Bildregionen mit Sprach-Embeddings abgleicht.

Definition

Ein herkömmlicher Detektor, der auf einer festen Labelmenge trainiert wurde, kann nur diese Labels ausgeben. Open-Vocabulary-Detektion (open-vocabulary detection) ersetzt den festen Klassifikator durch einen Vergleich zwischen Regionsmerkmalen und Text-Embeddings: Zur Abfragezeit liefert der Nutzer Klassennamen oder Phrasen, ein Text-Encoder wandelt sie in Vektoren um, und jede Kandidatenregion wird nach ihrer Ähnlichkeit zu jeder Abfrage bewertet. Weil der Labelraum durch Text statt durch eine feste Menge von Ausgabeeinheiten definiert ist, lassen sich neue Kategorien ohne erneutes Training abfragen, und die zur Testzeit verwendeten Labels können sich von den im Training gesehenen unterscheiden.

Die Fähigkeit, Kategorien ohne Box-Annotationen zu erkennen, stammt aus groß angelegtem Bild-Text-Vortraining. Modelle wie CLIP lernen aus Bild–Bildunterschrift-Paaren aufeinander ausgerichtete Bild- und Text-Embeddings, und Open-Vocabulary-Detektoren tragen diese Ausrichtung bis auf Regionen hinunter: indem sie CLIP-Merkmale in einen Detektor destillieren (ViLD), indem sie Detektionsköpfe an einen vortrainierten Vision-Language-Transformer anfügen (OWL-ViT) oder indem sie auf Grounding-Daten trainieren, die Phrasen mit Boxen verknüpfen (GLIP, Grounding DINO). Der Begriff in diesem Sinn geht auf eine Arbeit von Zareian und Kollegen aus dem Jahr 2021 zurück. Dieselbe Idee lässt sich auf Segmentierung und auf 3D übertragen: Open-Vocabulary-Affordanzerkennung beschriftet die Punkte einer Punktwolke mit frei formulierten Affordanznamen, indem sie punktweise Merkmale mit Text-Embeddings vergleicht.

Open-Vocabulary-Detektion unterscheidet sich von zwei verwandten Settings. Zero-Shot-Detektion trainiert meist auf einer Menge gesehener Klassen und testet auf einer disjunkten Menge ungesehener Klassen, oft ohne groß angelegtes Bild-Text-Vortraining. Open-Set-Detektion zielt darauf ab, Objekte, die nicht zu den bekannten Klassen gehören, als unbekannt zu markieren, ohne sie zu benennen. In der Robotik lassen Open-Vocabulary-Detektoren ein System auf Anweisungen handeln, die beliebige Objekte benennen; VoxPoser zum Beispiel nutzt einen, um die in sprachmodellgeneriertem Code genannten Objekte zu lokalisieren, bevor es seine 3D-Wertkarten aufbaut.

Warum es wichtig ist

Roboter erhalten Anweisungen in natürlicher Sprache, die Objekte benennen, die keine feste Labelmenge vorhergesehen hat. Open-Vocabulary-Detektion lässt einen Roboter diese Objekte finden, ohne für jedes einzelne neue Trainingsdaten zu sammeln und zu annotieren, und genau das macht sprachgesteuerte Manipulation außerhalb einer festen Objektmenge praktikabel.

Wichtige Anwendungen

Sprachkonditionierte Manipulation nach Anweisungen in natürlicher Sprache
Objektsuche für mobile Roboter in unstrukturierten Räumen
Aufbau semantischer Karten, die sich per Text abfragen lassen
Beschriftung von Affordanzen auf 3D-Punktwolken
Automatisches Labeln von Roboterdatensätzen

In der Praxis

Ein mobiler Manipulator erhält die Anweisung, den blauen Schwamm in die Spüle zu legen. Ein Parser extrahiert die Phrasen „blauer Schwamm“ und „Spüle“, und ein Open-Vocabulary-Detektor läuft mit diesen Abfragen auf dem aktuellen RGB-Bild. Die zurückgegebenen Boxen werden an ein Segmentierungsmodell übergeben, und die Masken werden mit dem Tiefenbild in 3D projiziert, um Punktwolken für Griffplanung und Ablage zu erhalten. Das Team legt Score-Schwellwerte pro Abfrage statt eines globalen Schwellwerts fest, weil Ähnlichkeitsscores mit der Formulierung variieren, und bestätigt Detektionen über mehrere Bilder, bevor es handelt.

Häufige Missverständnisse

Open-Vocabulary bedeutet, dass jedes Objekt zuverlässig erkannt wird — die Genauigkeit sinkt weiterhin bei seltenen, kleinen oder ungewöhnlich formulierten Kategorien, und die Ergebnisse hängen von der Formulierung der Abfrage ab
Open-Vocabulary-Detektion ist dasselbe wie Open-Set-Detektion — Open-Set-Methoden markieren unbekannte Objekte als unbekannt, während Open-Vocabulary-Methoden sie anhand von Textabfragen benennen
Scores sind über Abfragen hinweg vergleichbar — Ähnlichkeitsscores sind zwischen Phrasen nicht kalibriert, daher funktioniert ein einziger Schwellwert für jede Abfrage oft schlecht

Wer das wissen sollte

Wahrnehmungsingenieure, die Detektionspipelines für Roboter aufbauen
Forschende im Roboterlernen, die an sprachkonditionierten Policies arbeiten
Entwickler für mobile Manipulation
Forschende, die semantische Karten aufbauen

Open Source Robotics