RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

Autoren: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

RoboCook modelliert die Interaktion zwischen Teig und Werkzeug mit GNNs, die auf 20 Minuten realer Daten pro Werkzeug trainiert sind, wählt Werkzeuge mit einem PointNet++-Klassifikator und stellt Teigtaschen mit 15 austauschbaren Werkzeugen her.

Warum es wichtig ist

Das System zeigt einen Universalarm mit Werkzeugwechselsystem, der eine neunschrittige Teigtaschen-Sequenz abschließt und sich erholt, wenn eine Person den Teig mitten in der Aufgabe verformt, ergänzt oder austauscht. Da die Policy pro Aktion nur einen Vorwärtsdurchlauf benötigt, dauert die Planung Sekunden statt der Minuten, die optimierungsbasierte Planer mit demselben gelernten Modell brauchen.

Problem

Aufgaben mit weichen Körpern über lange Horizonte, etwa die Herstellung einer Teigtasche, erfordern eine diskrete Wahl, welches Werkzeug verwendet wird, und eine kontinuierliche Wahl, wie es bewegt wird, während sich der elastoplastische Teig auf schwer modellierbare Weise verformt. Frühere Methoden mit gelernter Dynamik behandelten Aufgaben mit kurzem Horizont und einem einzigen Werkzeug, und Simulatoren für elastoplastische Objekte zeigen eine merkliche Sim-to-Real-Lücke.

Lösungsansatz

Vier RGB-D-Kameras liefern eine zusammengeführte Punktwolke, aus der der Teig als wasserdichtes Mesh rekonstruiert und auf 300 Oberflächenpartikel neu abgetastet wird, verkettet mit Partikeln auf dem Werkzeug-Mesh. Ein GNN, trainiert auf etwa 20 Minuten Daten aus zufälliger Exploration pro Werkzeug, sagt die Verformung des Teigs vorher; ein PointNet++-Klassifikator schlägt die drei wahrscheinlichsten Werkzeuge für das nächste Teilziel vor; und eine PointNet++-Policy, trainiert auf vom GNN erzeugten synthetischen Daten, gibt Aktionsparameter für Greifen, Drücken und Rollen aus, während die übrigen Werkzeuge handcodierte Planer nutzen. Der Regelkreis wird nach jeder Aktion durch visuelles Feedback geschlossen.

Wichtigste Erkenntnisse

Das GNN nur auf eine Vorhersage von zwei Schritten zu trainieren, reichte für genaue Vorhersagen über 15 Schritte bei der Inferenz.
Eine offline auf synthetischen GNN-Rollouts trainierte Policy deckt den gesamten Aktionsraum ab und übertraf Online-Planer (Gradientenabstieg, CEM und RL), die dieselben GNNs und denselben Werkzeugklassifikator nutzten.
Werkzeugspezifische Aktionsräume mit zwei bis vier Parametern, abgeleitet aus dem 6-DoF-Endeffektorraum durch Entfernen redundanter Freiheitsgrade, halten die Planung handhabbar.
Ein nur auf Teig aus Mehl, Wasser und Salz trainiertes Dynamikmodell formte ohne Nachtraining einen Buchstaben K in Play-Doh, lufttrocknendem Ton und Modellschaum.
Ein PointNet-basierter Werkzeugklassifikator generalisierte besser als ein ResNet-basierter, was die Autoren auf seine Fähigkeit zurückführen, Tiefe zu codieren.

Hauptergebnisse

Buchstabenformung (R, O, B, C, K): 100 menschliche Probanden erkannten die Buchstaben von RoboCook mit einer Genauigkeit von 0,90 ± 0,11, gegenüber 0,54 (RoboCraft), 0,52 (CEM+GNN), 0,48 (CEM+MPM) und 0,17 (RL+GNN).
Punktwolkenmetriken: Chamfer-Distanz 0,0062 ± 0,0007 und Earth Mover's Distance 0,0042 ± 0,0006, die niedrigsten unter den fünf Methoden.
Planungszeit 9,3 ± 1,5 s gegenüber 613,7 s (RoboCraft), 756,0 s (CEM+GNN), 1486,7 s (CEM+MPM) und 1867,9 s (RL+GNN); die vollständige Teigtaschen-Pipeline benötigt rund 10 s Planung.
Der Werkzeugklassifikator erreichte eine Instanzgenauigkeit von 0,996 auf einem Testsplit seiner Trainingsdaten.
Fünf menschliche Probanden mit denselben Werkzeugen schnitten deutlich schlechter ab als RoboCook, wenn sie die Werkzeuge selbst wählten, und vergleichbar oder schlechter, wenn ihnen Werkzeugfolge und Teilziele vorgegeben wurden.

Einschränkungen

Laut den Autoren: Der Teig bleibt gelegentlich am Werkzeug kleben, und ein automatisches Fehlerkorrektursystem wäre nötig.
Laut den Autoren: Das System stützt sich bei den Aktionsräumen der einzelnen Werkzeuge auf menschliches Vorwissen.
Laut den Autoren: Menschen legen die Teilziele fest; um darauf zu verzichten, wären eine höhere zeitliche Abstraktion und Planung auf Aufgabenebene nötig.
Laut den Autoren: Kabel und Stoff würden eine zusätzliche Topologieschätzung erfordern.
Gelernte Dynamik und Policies decken nur Greifer, Rollen, Pressen und Stanzen ab; Messer, Ausstecher, Schieber und Spatel nutzen handcodierte Planer, und die Hakenaktion ist vorprogrammiert.

Wirkung auf das Fachgebiet

Gewinner des CoRL 2023 Best Systems Paper Award; 137-mal zitiert (Zahl wie angegeben). Die offizielle Projektseite verlinkt das Code-Repository von RoboCook und einen Datenordner.

Zusammenfassung

Menschen glänzen bei komplexen Manipulationsaufgaben mit weichen Körpern über lange Horizonte durch flexiblen Werkzeuggebrauch: Beim Brotbacken braucht man ein Messer, um den Teig zu schneiden, und ein Nudelholz, um ihn flach auszurollen. Werkzeuggebrauch, der oft als Kennzeichen menschlicher Kognition gilt, bleibt bei autonomen Robotern begrenzt, weil das Verständnis von Werkzeug-Objekt-Interaktionen schwierig ist. Hier entwickeln wir ein intelligentes Robotersystem, RoboCook, das elastoplastische Objekte mit verschiedenen Werkzeugen wahrnimmt, modelliert und manipuliert. RoboCook verwendet Szenenrepräsentationen als Punktwolken, modelliert Werkzeug-Objekt-Interaktionen mit Graph Neural Networks (GNNs) und kombiniert Werkzeugklassifikation mit selbstüberwachtem Policy-Lernen, um Manipulationspläne zu entwerfen. Wir zeigen, dass ein Universal-Roboterarm aus nur 20 Minuten realer Interaktionsdaten pro Werkzeug komplexe Manipulationsaufgaben mit weichen Objekten über lange Horizonte lernen kann, etwa die Herstellung von Teigtaschen und Buchstabenkeksen. Umfangreiche Auswertungen zeigen, dass RoboCook Ansätze auf dem Stand der Technik deutlich übertrifft, Robustheit gegenüber starken äußeren Störungen aufweist und Anpassungsfähigkeit an unterschiedliche Materialien zeigt.

Open Source Robotics