SORNet: Spatial Object-Centric Representations for Sequential Manipulation

Autoren: Wentao Yuan, Chris Paxton, Karthik Desingh, Dieter Fox · CoRL 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

SORNet bettet jedes Objekt in einem RGB-Bild anhand einer kanonischen Ansicht dieses Objekts ein; kleine Readout-MLPs wandeln die Embeddings in Skill-Vorbedingungen und 3D-Richtungen für ungesehene Objekte um.

Warum es wichtig ist

Die vorhergesagten Prädikate speisen einen symbolischen Aufgaben- und Bewegungsplaner, sodass dasselbe Netz ohne erneutes Training oder Feintuning für neue Aufgaben und neue Objekte dienen kann. Die Autoren nutzen aus dem Kamerabild eines realen Roboters vorhergesagte Prädikate, um den Zustand eines Planers für eine Ausführung im offenen Regelkreis zu befüllen, und nutzen Richtungsvorhersagen für visuelles Servoing zu einem Zielobjekt.

Problem

Sequenzielle Manipulation muss wissen, welche räumlichen Relationen zwischen Objekten gelten, etwa ob die Oberseite eines Blocks frei ist, bevor ein Planer den nächsten Skill wählen kann. Explizite Zustandsschätzer lassen sich schwer auf beliebige Ansammlungen von Objekten verallgemeinern, insbesondere auf Objekte in Kontakt, und End-to-End-Netze bleiben an die Aufgabe gebunden, auf die sie trainiert wurden: Ein Netz, das auf das Stapeln von Blöcken trainiert wurde, kann sie nicht einfach wieder abstapeln.

Lösungsansatz

SORNet ist ein Vision Transformer, der RGB-Kontext-Patches der Szene plus kanonische Ansichten der interessierenden Objekte als Query-Tokens erhält, mit so maskierter Attention, dass die Queries nur aus der Szene lesen, und der ein Embedding pro abgefragtem Objekt ausgibt. Zweischichtige MLP-Readout-Netze bilden einzelne oder gepaarte Embeddings auf unäre und binäre Prädikate oder auf kontinuierliche 3D-Richtungen ab, mit Parametern, die unabhängig von der Anzahl der Objekte sind; trainiert wird mit Leonardo, einem neuen simulierten Datensatz eines Franka Panda, der Blöcke stapelt, gelabelt mit Ground-Truth-Prädikaten.

Wichtigste Erkenntnisse

Die Konditionierung auf kanonische Objektansichten, die nicht dem Aussehen des Objekts in der Szene entsprechen müssen, erlaubt es dem Modell, ungesehene Objekte unter Änderungen von Beleuchtung, Pose und Verdeckung ohne erneutes Training herauszufinden.
Das Maskieren der Attention zwischen den Query-Tokens und von Kontext-Patches zu Queries macht die Ausgaben permutationsäquivariant, sodass bei der Inferenz beliebig viele Objekte abgefragt werden können.
Embeddings, die nur mit logischen Prädikatlabels trainiert wurden, tragen dennoch kontinuierliche räumliche Information: Ein Regressor auf eingefrorenen Embeddings sagt 3D-Richtungen besser vorher als Baselines, die mit Posen-Supervision trainiert wurden.
Baselines ohne Objektkonditionierung scheitern zero-shot an ungesehenen Objekten und bleiben selbst nach 100-shot-Feintuning weit zurück.
Das Aggregieren dreier Kameraansichten hilft bei Verdeckung, und das Hinzufügen des Greiferzustands verbessert greiferbezogene Prädikate wie has-object.

Hauptergebnisse

Zero-shot-Relationsgenauigkeit auf CLEVR-CoGenT: 99,006 % auf valA und 98,222 % auf valB, gegenüber 84,950 % / 59,627 % für MDETR und 97,944 % / 98,052 % für MDETR-oracle, das alle Objekte im Training gesehen hat.
Leonardo-Prädikatklassifikation auf ungesehenen Objekten (52 Prädikate): SORNet M-View (G) erreicht 98,9 % Genauigkeit, 63,6 % All-Match-Genauigkeit und 89,5 F1; die beste 100-shot-Baseline erreicht 92,8 %, 4,1 % und 0,0.
Szenen mit 5 und 6 Objekten (trainiert auf 4): 98,5 % und 98,0 % Genauigkeit, wobei die All-Match-Genauigkeit auf 45,5 % und 29,7 % fällt, da die Prädikate auf 70 und 102 anwachsen.
30 reale Roboterbilder: 96,3 % Genauigkeit, 26,7 % All-Match-Genauigkeit, 76,5 F1.
Genauigkeit der Skill-Ausführbarkeit: 76,3 % für SORNet M-View (G) gegenüber etwa 27 % für ResNet18- und ViT-Baselines, die bei grasp, align, place und lift 0 % erzielen.
Regression relativer 3D-Richtungen (euklidischer Fehler auf Einheitsvektoren, 1000 Trainingsbeispiele): 0,1458 Objekt-Objekt und 0,1777 Endeffektor-Objekt für SORNet (vortrainiert, Multi-View), gegenüber 0,4308 / 0,3251 für ResNet18 und 0,6145 / 0,4960 für vortrainiertes CLIP-ViT.

Einschränkungen

Readout-Netze behandeln nur unäre und binäre Relationen; Relationen mit mehr als zwei Objekten bleiben künftiger Arbeit überlassen.
Räumliche Relationen werden aus einem einzelnen RGB-Frame vorhergesagt; zeitliches Schließen wird nicht behandelt.
Auf realen Bildern macht das Modell Fehler in Situationen, die im Training nie vorkamen, etwa ein Block, der zwischen zwei Blöcken gestapelt ist, und die All-Match-Genauigkeit auf den 30 realen Bildern beträgt 26,7 %.
Die All-Match-Genauigkeit sinkt, wenn Objekte hinzukommen (29,7 % mit 6 Objekten), weil die Zahl binärer Prädikate quadratisch wächst.
Die Trainingsdaten decken eine einzige Aufgabe ab, das Stapeln von 4 Blöcken; die Planungsdemonstration auf dem realen Roboter läuft im offenen Regelkreis und wird nur im Zusatzvideo gezeigt.

Wirkung auf das Fachgebiet

Finalist für den CoRL 2021 Best System Paper Award, mit 82 Zitationen. Die Arbeit steuert den Leonardo-Datensatz aus RGB-Beobachtungen mit Labels für räumliche Prädikate bei, und die offizielle Projektseite verlinkt den Code (github.com/wentaoyuan/sornet).

Zusammenfassung

Sequenzielle Manipulationsaufgaben erfordern, dass ein Roboter den Zustand einer Umgebung wahrnimmt und eine Abfolge von Aktionen plant, die zu einem gewünschten Zielzustand führt, wobei die Fähigkeit, aus rohen Sensoreingaben über räumliche Relationen zwischen Objektentitäten zu schließen, entscheidend ist. Frühere Arbeiten, die sich auf explizite Zustandsschätzung oder End-to-End-Lernen stützen, haben Schwierigkeiten mit neuen Objekten oder neuen Aufgaben. In dieser Arbeit schlagen wir SORNet (Spatial Object-Centric Representation Network) vor, das objektzentrierte Repräsentationen aus RGB-Bildern extrahiert, konditioniert auf kanonische Ansichten der interessierenden Objekte. Wir zeigen, dass die von SORNet gelernten Objekt-Embeddings zero-shot auf ungesehene Objektentitäten bei drei Aufgaben des räumlichen Schließens generalisieren: Klassifikation räumlicher Relationen, Klassifikation von Skill-Vorbedingungen und Regression relativer Richtungen, wobei sie Baselines deutlich übertreffen. Darüber hinaus präsentieren wir reale Roboterexperimente, die den Einsatz der gelernten Objekt-Embeddings in der Aufgabenplanung für sequenzielle Manipulation demonstrieren.

Open Source Robotics