Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation

Autoren: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, Phillip Isola · CoRL 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

F3RM destilliert 2D-Merkmale von CLIP oder DINO in ein 3D-NeRF-Merkmalsfeld, sodass ein Roboter aus zwei Demonstrationen pro Aufgabe 6-DOF-Griffe und Ablagen ableiten und in freiem Text benannte Objekte aufheben kann.

Warum es wichtig ist

Die Methode braucht kein Fine-Tuning der Bildmodelle und keine Segmentierungsmasken oder Annahmen über Objektposen, weil sie auf dem gesamten Merkmalsfeld arbeitet. Die Autoren berichten, dass das Einbinden eines neueren Vision-Language-Modells in die Pipeline wenige Minuten Entwicklungsarbeit erfordert, ohne Nachtraining und ohne neue Demonstrationen.

Problem

Vortrainierte 2D-Bildmodelle tragen reichhaltiges semantisches Wissen, doch Greifen und Ablegen erfordern genaue 3D-Geometrie, die 2D-Merkmalen fehlt. Das Paper fragt, wie ein Roboter Objekte aufheben kann, die er nie gesehen hat, gegeben wenige Demonstrationen oder eine Textbeschreibung, in unaufgeräumten Szenen, in denen sich die Objekte in Form, Größe, Pose und Material von den demonstrierten unterscheiden.

Lösungsansatz

Der Roboter scannt den Tisch mit einer RGB-Kamera an einem Selfie-Stick (50 Bilder) und trainiert ein NeRF, das zusätzlich dichte Merkmale von DINO ViT oder CLIP rendert; CLIP-Patch-Merkmale werden mit der MaskCLIP-Reparametrisierung extrahiert, damit sie an der Sprache ausgerichtet bleiben. Eine 6-DOF-Greiferpose wird codiert, indem das belegungsgewichtete Merkmalsfeld an 100 Abfragepunkten im Greifer-Koordinatensystem abgetastet wird, und Posen werden durch Voxel-Vorfilterung plus Adam-Optimierung gegen das gemittelte Embedding zweier Demonstrationen gefunden. Bei Textbefehlen ruft das CLIP-Text-Embedding die nächstgelegenen Demonstrationen ab und gewichtet die Posenkosten zu Regionen hin, die zur Anfrage passen.

Wichtigste Erkenntnisse

DINO- und CLIP-Merkmalsfelder ergänzen sich: DINO liefert gute Geometrie auf Ebene von Teilen, wird aber durch ähnlich aussehende Störobjekte verwirrt und neigt zur Überanpassung an Farbe, während CLIP Semantik über Geometrie stellt: 21 von 27 CLIP-Fehlschlägen gegenüber 7 von 19 DINO-Fehlschlägen gingen auf Rotations- oder Translationsfehler beim Griff zurück.
Dichte CLIP-Merkmale, die mit MaskCLIP aus der vorletzten Schicht entnommen werden, behalten ihre Ausrichtung am Text-Encoder, sodass Sprachanfragen auf dem 3D-Merkmalsfeld ohne Fine-Tuning von CLIP funktionieren.
Die Gewichtung der Merkmale mit der NeRF-Belegung (alpha) lässt eine Repräsentation aus Abfragepunkten sowohl lokale Geometrie als auch Semantik codieren, ohne Objektsegmentierung oder Objektposen.
Demonstrationen an Tassen und Schraubendrehern übertrugen sich auf neue Kategorien wie Schüsseln, Messbecher, Klebebandrollen, Whiteboard-Marker und Besteck, wenn das Ziel im Text benannt wurde.
Die meisten sprachgesteuerten Fehlschläge (13 von 19) gingen darauf zurück, dass sich CLIP wie ein Bag-of-Words verhält und Relationen, Attribute und Ordinalinformationen in der Anfrage übersieht.

Hauptergebnisse

Greifen und Ablegen aus zwei Demonstrationen pro Aufgabe, fünf Aufgaben mit je zehn Testszenen: CLIP-ResNet-Merkmale 39/50, CLIP ViT 34/50, DINO ViT 31/50.
Baselines auf denselben Aufgaben: NeRF-Dichte 27/50, RGB 21/50, intermediäre NeRF-Merkmale 9/50 und MIRA 15/50.
Sprachgesteuerte Manipulation in 13 Tischszenen: 31 von 50 Anfragen gelangen; nach Kategorie Farbe 7/10, Material 7/10, relational 4/10, allgemein 4/10 und Objektkategorien außerhalb der Verteilung 9/10.
Das Anpassen von NeRF und Merkmalsfeld dauert höchstens 90 s (im Mittel 80 s) auf einer NVIDIA RTX 3090, und jede Szene benötigt 60–120 MB, verglichen mit 50 bis mehreren hundert GB pro Szene beim surfel-basierten ConceptFusion.
Die Optimierung der Griffpose dauert im Mittel 15 s; in einer Ablation zur Zahl der Ansichten sinkt die Qualität unterhalb von etwa 20 der 50 gescannten Bilder drastisch.

Einschränkungen

Laut den Autoren: Die automatisierte Scan- und Modellierungspipeline benötigt einige Minuten pro Szene und ist der Hauptengpass des Systems.
Die Autoren merken an, dass die sprachgesteuerte Erfolgsrate von 31/50 weit von einem praktischen industriellen Einsatz entfernt ist.
Das Bag-of-Words-Verhalten von CLIP verursachte Fehlschläge bei Anfragen wie "black screwdriver" und "mug on a can of spam", und das Abrufen von Demonstrationen per Text erforderte teils Prompt Engineering.
Die Verteilungen der Abfragepunkte werden für jede Aufgabe von Hand abgestimmt, und die beste von fünf gesampelten Abfragepunktmengen wird anhand von Entwicklungsszenen gewählt.
Sechs der 19 sprachgesteuerten Fehlschläge gingen auf Rotations- oder Translationsfehler im vorhergesagten Griff zurück.

Wirkung auf das Fachgebiet

Gewinner des CoRL 2023 Best Paper Award. Die offizielle Projektseite verlinkt das Code-Repository von F3RM.

Zusammenfassung

Selbstüberwachte und sprachüberwachte Bildmodelle enthalten reichhaltiges Wissen über die Welt, das für die Generalisierung wichtig ist. Viele robotische Aufgaben erfordern jedoch ein detailliertes Verständnis der 3D-Geometrie, das 2D-Bildmerkmalen oft fehlt. Diese Arbeit überbrückt diese Lücke zwischen 2D und 3D für die Robotermanipulation, indem sie destillierte Merkmalsfelder nutzt, um genaue 3D-Geometrie mit der reichhaltigen Semantik von 2D-Foundation-Models zu kombinieren. Wir stellen eine Few-Shot-Lernmethode für 6-DOF-Greifen und -Ablegen vor, die diese starken räumlichen und semantischen Priors nutzt, um eine Generalisierung unter realen Bedingungen auf ungesehene Objekte zu erreichen. Mithilfe von Merkmalen, die aus einem Vision-Language-Modell, CLIP, destilliert wurden, stellen wir eine Möglichkeit vor, neue Objekte zur Manipulation über freien Text in natürlicher Sprache zu bestimmen, und demonstrieren ihre Fähigkeit, auf ungesehene Ausdrücke und neue Objektkategorien zu generalisieren.

Open Source Robotics