Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

Autoren: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Erstellt ein LERF der Szene, maskiert das benannte Objekt mit DINO-Merkmalen, fragt den Teilnamen nur innerhalb dieser Maske ab und ordnet GraspNet-Griffe neu, sodass der Roboter das benannte Teil greift.

Warum es wichtig ist

Die Methode braucht keine Teil-Labels, Affordanz-Datensätze, Demonstrationen oder Fine-Tuning und verarbeitet Long-Tail-Anfragen wie 'ethernet dongle', 'cork' oder 'martini glass', weil sie CLIP zero-shot nutzt. Die Teilanfrage ist einfacher Text, sodass ein Sprachmodell Objekt und Teil aus einer Aufgabenbeschreibung wie 'cut the steak' liefern kann.

Problem

Viele Objekte müssen an einem bestimmten Teil gegriffen werden, etwa ein Messer am Griff oder eine Sonnenbrille am Gestell, doch lernbasierte Griffplaner berücksichtigen meist nur Geometrie und messen Erfolg daran, ob das Objekt angehoben wurde. Frühere Methoden zum aufgabenorientierten Greifen sammeln Datensätze zu Objektteilen oder Affordanzen, die sich nur schwer auf viele Objekte skalieren lassen. LERF allein hebt nur den markantesten Bereich eines Objekts hervor, und CLIP verhält sich wie ein Bag-of-Words, sodass 'mug' und 'mug handle' fast dieselben Bereiche aktivieren.

Lösungsansatz

Eine Handgelenkkamera nimmt auf einer halbkugelförmigen Bahn etwa 60 Bilder auf, und ein Language Embedded Radiance Field (CLIP- und DINO-Merkmale, destilliert in ein NeRF, aufgebaut auf Nerfacto aus Nerfstudio) wird in etwa 78 Sekunden trainiert. Die Objektanfrage lokalisiert das Objekt, eine 3D-Objektmaske wird durch Flood-Fill über die DINO-Merkmalsähnlichkeit erweitert, und die Teilanfrage wird nur an Punkten innerhalb dieser Maske ausgewertet (eine bedingte LERF-Abfrage). GraspNet-Griffe, erzeugt aus einer Halbkugel virtueller Kameras, werden nach 0,95 × semantischer Score (Median der Teilrelevanz im Griffvolumen) + 0,05 × GraspNet-Konfidenz gerankt.

Wichtigste Erkenntnisse

Eine 3D-Objektmaske aus DINO-Merkmalen liefert die Objektgruppierung, die der CLIP-Relevanz von LERF fehlt, sodass Teilanfragen das ganze Objekt abdecken, auch bei länglichen Objekten.
Die Teilanfrage auf die Objektmaske zu beschränken (bedingte Abfrage), wirkt dem Bag-of-Words-Verhalten von CLIP entgegen.
Der semantische Score muss das Ranking dominieren (Gewicht 0,95): Der geometrische Griff mit der höchsten Konfidenz auf der Objektmaske landet nur in 18 % der Fälle am richtigen Teil.
Mehrskalige CLIP-Merkmale sind für Teile wichtig: ConceptFusion mit einem CLIP-Embedding pro Punkt wählt etwa ebenso oft das richtige Objekt, aber weit seltener das richtige Teil.
Die wichtigsten Fehlerarten sind visuell ähnliche Teile (Ausguss vs. Griff einer Teekanne), kleine Geometrie (Henkel einer Teetasse, Abzug einer Sprühflasche), nahe Kategorien (Steak- vs. Brotmesser) und die Formulierung des Prompts ('bottle neck' lokalisiert besser als 'neck').

Hauptergebnisse

Teilorientiertes Greifen mit von Menschen geschriebenen Anfragen (49 Prompts, 12 Szenen, Table 1): richtiges Objekt 96 %, richtiges Teil 82 %, erfolgreiches Anheben am richtigen Teil 69 %. Abstract und Schluss nennen für das richtige Teil 81 %.
Die Zahl der physischen Objekte wird im Abstract und in Section 5 mit 31 angegeben, in der Einleitung und den Ergebnissen zum aufgabenorientierten Greifen mit 39.
ConceptFusion mit NeRF-Tiefe: 77 % richtiges Objekt und 39 % richtiges Teil (keine physischen Versuche); Einzelansichts-Baselines mit 20 Prompts und 5 Szenen: Semantic Abstraction 80 % Objekt / 35 % Teil, OWL-ViT 85 % Objekt / 50 % Teil.
Wenn ChatGPT Objekt und Teil aus einer Aufgabenbeschreibung wählt (Mehrheitsentscheid über sieben Antworten), berichtet Table 3 96 % richtiges Objekt und 71 % richtiges Teil; der Text im Abschnitt Results nennt 92 % für die Wahl des richtigen Primitivs und bezeichnet die 71 % als Erfolg beim richtigen Objekt.
Zeitbedarf: Szenenerfassung 30 s, LERF-Training bis 2k Schritte 78 s, LERF-TOGO-Abfrage 10 s, wobei die Vorverarbeitung während der Erfassung auf drei NVIDIA-4090-GPUs verteilt wird.

Einschränkungen

Die Autoren geben an, dass der gesamte Ablauf einige Minuten dauert, was für zeitkritische Anwendungen unpraktisch sein kann.
Gruppen zusammenhängender Vordergrundobjekte werden von der DINO-Flood-Fill-Maske zusammengeführt statt getrennt (laut den Autoren).
Passt die Objektanfrage auf mehrere Objekte, etwa identische Tassen oder ein allgemeines 'mug', wählt das System willkürlich eines aus (laut den Autoren).
Referenzierende oder vergleichende Ausdrücke wie 'mug next to the plate' oder 'biggest mug' werden nicht verarbeitet (laut den Autoren).
Jede Szene wird einmal rekonstruiert, danach werden Objekte nacheinander entfernt, ohne die Repräsentation zu aktualisieren; die Teilauswahl reagiert empfindlich auf die Formulierung, wobei von einem LLM erzeugte Teilanfragen auf 71 % richtiges Teil kommen gegenüber 82 % bei menschlichen Anfragen.

Wirkung auf das Fachgebiet

Finalist für den CoRL 2023 Best Paper / Best Student Paper Award und 159-mal zitiert. Die Autoren stellen Code, Daten und Anhang über lerftogo.github.io bereit, das ein GitHub-Repository und einen Datenordner verlinkt.

Zusammenfassung

Objekte an einem bestimmten Teil zu greifen, ist oft entscheidend für die Sicherheit und für die Ausführung nachgelagerter Aufgaben. Wir schlagen LERF-TOGO vor, Language Embedded Radiance Fields for Task-Oriented Grasping of Objects, das Vision-Language-Modelle zero-shot nutzt, um zu einer Anfrage in natürlicher Sprache eine Griffverteilung über einem Objekt auszugeben. Dazu konstruieren wir zunächst ein LERF der Szene, das CLIP-Embeddings in ein mehrskaliges, per Text abfragbares 3D-Sprachfeld destilliert. LERF hat jedoch kein Gespür für Objektgrenzen, sodass seine Relevanzausgaben oft unvollständige Aktivierungen über einem Objekt liefern, die für das Greifen nicht ausreichen. LERF-TOGO mildert diesen Mangel an räumlicher Gruppierung, indem es über DINO-Merkmale eine 3D-Objektmaske extrahiert und LERF dann bedingt auf dieser Maske abfragt, um eine semantische Verteilung über dem Objekt zu erhalten, mit der die Griffe eines handelsüblichen Griffplaners gerankt werden. Wir bewerten die Fähigkeit von LERF-TOGO, aufgabenorientierte Objektteile zu greifen, an 31 physischen Objekten und stellen fest, dass es in 81 % der Versuche Griffe am richtigen Teil auswählt und in 69 % erfolgreich greift. Code, Daten, Anhang und Details sind verfügbar unter: lerftogo.github.io

Open Source Robotics