Open-Vocabulary Affordance Detection in 3D Point Clouds

Autoren: Toan Nguyen, Minh Nhat Vu, An Vuong, Dzung Nguyen, Thieu Vo, Ngan Le, Anh Nguyen · IROS 2023

Lizenzen

Open Access
Paper: CC0 1.0 Universal

Alles Folgende stützt sich auf das vollständige Paper, das die Autoren unter CC0 1.0 Universal freigegeben haben; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Gleicht punktweise PointNet++-Merkmale mit eingefrorenen CLIP-Text-Embeddings ab, sodass ein Roboter eine Punktwolke nach jedem beliebigen Affordanz-Wort abfragen kann, auch nach solchen, die im Training fehlten.

Warum es wichtig ist

Einem Roboter kann in einfachen Worten gesagt werden, an welchem Teil eines Objekts er ansetzen soll, und er erhält eine 3D-Region, die er direkt an Griffdetektion, inverse Kinematik und Trajektorienplanung weitergeben kann, ohne für jedes neue Verb neu trainiert zu werden. Die Inferenz dauert etwa 100 ms, und die Autoren betreiben das Verfahren auf einem KUKA LBR iiwa mit einer RealSense D435i und einem Robotiq-2F-85-Greifer.

Problem

Bestehende Affordanzdetektoren, ob auf Bildern oder Punktwolken, werden auf einer festen Menge von Affordanz-Labels trainiert, sodass ein Roboter ohne neue Annotation nicht nach einem neuen Label fragen kann. Bildbasierte Detektoren benötigen zudem einen zusätzlichen Schritt, um 2D-Ergebnisse in 3D zu überführen, und frühere One-Shot- oder Few-Shot-Affordanzmethoden benötigen weiterhin annotierte Beispiele und funktionieren nur auf 2D-Bildern.

Lösungsansatz

OpenAD verwendet ein PointNet++-Backbone, das für jeden von 2048 Eingabepunkten ein 512-D-Embedding erzeugt, und kodiert jedes Affordanz-Label mit dem eingefrorenen Text-Encoder von CLIP ViT-B/32. Die Kosinusähnlichkeit zwischen jedem Punkt-Embedding und jedem Label-Embedding, skaliert mit einer lernbaren Temperatur, ergibt ein punktweises Softmax über die jeweils übergebenen Labels; trainiert wird mit einer klassengewichteten Negative-Log-Likelihood-Verlustfunktion. Bei der Inferenz kann ein beliebiger Text als Label übergeben werden.

Wichtigste Erkenntnisse

Die Ausrichtung von Punktmerkmalen an den Text-Embeddings eines Sprachmodells lässt semantisch verwandte, ungesehene Labels ohne ein einziges annotiertes Beispiel auf den richtigen Regionen landen
Die Wahl des Text-Encoders ist für Open-Vocabulary-Ergebnisse wichtig: CLIP ViT-B/32 schlug BERT beim mIoU mit beiden Backbones, während die Closed-Set-Ergebnisse etwa gleich waren
Der zusätzliche sprachgesteuerte Kopf kostet keine Closed-Set-Genauigkeit: OpenAD bleibt innerhalb eines Bruchteils eines Punktes von spezialisierten Netzen zur Punktwolkensegmentierung
Da jeder Punkt das am besten passende Label aus der aktuellen Label-Menge erhält, führt das Hinzufügen eines spezifischeren Labels (z. B. 'grasp' nach 'contain') zu einer Neubeschriftung der betreffenden Punkte

Hauptergebnisse

Zero-Shot, vollständige Form (3D AffordanceNet neu beschriftet auf 37 Klassen): mIoU 14,37 gegenüber 9,97 für ZSLPC, 6,46 für 3DGenZ und 3,86 für TZSLPC; Acc 46,31 und mAcc 19,51, beide die höchsten
Zero-Shot, Teilansicht: mIoU 12,50 gegenüber 9,52 für ZSLPC. Der Text nennt einen Abstand von 3,98 %, die Zahlen in Table I ergeben jedoch 2,98 Punkte; auch Acc 45,25 und mAcc 17,37 sind die höchsten
Closed-Set 3D AffordanceNet (Table II), vollständige Form: mIoU 42,00 gegenüber 42,09 DGCNN, 41,26 PointNet++ und 41,26 Point Transformer; höchste Acc mit 69,03
Closed-Set, Teilansicht: mIoU 41,87 gegenüber 41,93 DGCNN, 41,10 PointNet++, 40,51 Point Transformer; höchste Acc mit 69,91
Ablation (Open-Vocabulary, vollständige Form): PointNet++ mit CLIP 14,37 mIoU gegenüber 10,55 mit BERT; DGCNN mit CLIP 10,88 gegenüber 9,43 mit BERT
Die Inferenz dauert im Mittel etwa 100 ms; die Demonstrationen am realen Roboter umfassen das Halten und Anheben einer Tasche, das Umgreifen einer Flasche und das Schieben eines Ohrhörers

Einschränkungen

Die Autoren geben an, dass die Methode noch weit davon entfernt ist, völlig ungesehene Affordanzen zu erkennen, und zeigen Fehlschläge bei gesehenen Objekten
Die Autoren zeigen Falsch-Positive, bei denen OpenAD Affordanzen findet, die das Objekt nicht bietet (display bei einer Tasche, support bei einer Mikrowelle, openable bei einem Hut)
Die absoluten Zero-Shot-Werte bleiben niedrig (mIoU 14,37 bei vollständiger Form, 12,50 bei Teilansicht), und die Autoren fordern eine bessere Vision-Sprache-Korrelation (z. B. Cross-Attention), stärkere Backbones und einen größeren Affordanz-Datensatz
Die Experimente am realen Roboter sind Demonstrationen ohne berichtete Erfolgsraten
Eingabe ist ein einzelnes segmentiertes Objekt, abgetastet auf 2048 Punkte; die Roboter-Pipeline stützt sich auf einen separaten Schritt zur Objektlokalisierung

Wirkung auf das Fachgebiet

Auf der gemeinsamen Finalistenliste der IROS 2023 für den Best Overall Paper Award und den Best Student Paper Award, mit 66 Zitationen. Das Paper gibt an, dass die Autoren den Quellcode veröffentlichen werden; in der lizenzierten Fassung ist kein Link angegeben.

Zusammenfassung

Affordanzerkennung ist ein anspruchsvolles Problem mit einer großen Vielfalt robotischer Anwendungen. Herkömmliche Methoden der Affordanzerkennung sind auf eine vordefinierte Menge von Affordanz-Labels beschränkt und schränken damit möglicherweise die Anpassungsfähigkeit intelligenter Roboter in komplexen und dynamischen Umgebungen ein. In diesem Paper stellen wir die Methode Open-Vocabulary Affordance Detection (OpenAD) vor, die eine unbegrenzte Anzahl von Affordanzen in 3D-Punktwolken erkennen kann. Durch das gleichzeitige Lernen des Affordanz-Textes und des Punktmerkmals nutzt OpenAD erfolgreich die semantischen Beziehungen zwischen Affordanzen. Daher ermöglicht unsere vorgeschlagene Methode eine Zero-Shot-Erkennung und kann zuvor ungesehene Affordanzen ohne ein einziges Annotationsbeispiel erkennen. Umfangreiche experimentelle Ergebnisse zeigen, dass OpenAD in einem breiten Spektrum von Affordanzerkennungs-Setups wirksam arbeitet und andere Baselines mit großem Abstand übertrifft. Zusätzlich demonstrieren wir die Praxistauglichkeit des vorgeschlagenen OpenAD in realen Roboteranwendungen mit einer hohen Inferenzgeschwindigkeit (≈100 ms).

Open Source Robotics