Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

Autoren: Haonan Chen, Yilong Niu, Kaiwen Hong, Shuijing Liu, Yixuan Wang, Yunzhu Li, Katherine Driggs-Campbell · CoRL 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein partikelbasiertes GNN sagt die Objektbewegung an den Schlüsselposen von Verhaltensprimitiven vorher; die Suche nach Primitivparametern anhand von 3-4 Keyframes aus einer Demonstration lässt einen Arm Objekte in volle Regale einräumen.

Warum es wichtig ist

Das Netz wird nur an den Schlüsselposen jedes Primitivs abgefragt, was laut den Autoren die Zahl der Vorwärtsdurchläufe und den kumulierten Vorhersagefehler über lange Horizonte verringert. Nur auf simulierten quaderförmigen Objekten trainiert, übertrug sich das System zero-shot auf einen realen Kinova-Gen3-Arm und bewältigte Objekte außerhalb der Verteilung wie eine Flasche, eine Fusselrolle sowie schwere oder trapezförmige Gegenstände.

Problem

Ein Objekt in ein volles Regal einzuräumen bedeutet, zunächst Platz zu schaffen, indem die bereits vorhandenen Objekte geschoben und verschoben werden, was über einen langen Horizont Kontakte und Reibung zwischen mehreren Objekten umfasst, die schwer zu modellieren sind. Vorprogrammierte Systeme passen sich nicht an neue Regalanordnungen an, Manipulationsmethoden auf Kategorieebene benötigen kostspielige Datenerhebung und menschliche Annotation, und modellfreies Reinforcement Learning braucht zu viel Trainingszeit, um Aufgaben mit langem Horizont auf einem realen Roboter von Grund auf zu lernen.

Lösungsansatz

Jedes Objekt wird als gleichmäßig verteilte Partikel modelliert, und ein in der Simulation trainiertes Graph Neural Network sagt die Starrkörpertransformation jedes Objekts nach einem Verhaltensprimitiv (sweep, push oder transport) vorher; der Graph enthält Kanten vom Greifer zu Objekten, Kanten zu statischen Regal- und Tischpartikeln sowie einen Hilfsverlust auf vorhergesagte Greiferpositionen. Zur Laufzeit tastet Random Shooting die Parameter jedes Primitivs ab, das Netz sagt das Ergebnis vorher, und die Parameter, deren vorhergesagte Objektpositionen dem Demonstrations-Keyframe am nächsten liegen, werden mit einem Operational Space Controller ausgeführt.

Wichtigste Erkenntnisse

Die Roboteraktion als Greiferpartikel mit geplanter Bewegung darzustellen und Kanten zwischen dynamischen Objekten und statischen Regal- und Tischpartikeln hinzuzufügen, verbessert die Vorhersage gegenüber einem GNN im Stil von RoboCraft bei den schwierigeren Primitiven sweep und transport.
Objektzustände nur an den Schlüsselposen der Primitive statt bei jedem Regelschritt vorherzusagen, verringert Vorwärtsdurchläufe und akkumulierten Fehler bei Aufgaben mit langem Horizont.
Ein gelerntes Dynamikmodell in Kombination mit Suche übertraf modellfreies RL (SAC, PPO) und PPO mit primitivparametriertem Aktionsraum bei derselben Einräumaufgabe mit langem Horizont in der Simulation.
Random Shooting, die Cross-Entropy Method und Gradient Descent schnitten als Optimierer über die Primitivparameter ähnlich ab.
Ein Satz aus 2 Fähigkeiten (push und transport) erreichte dieselben 95 % Erfolg in der realen Welt wie der Satz aus 3 Fähigkeiten, was die Autoren darauf zurückführen, dass das Modell die Interaktionen zwischen dem gehaltenen Objekt und den Objekten im Regal erfasst.

Hauptergebnisse

Reale Welt, sechs Aufbauten mit je 10 Versuchen: 95 % Erfolg mit 3 Fähigkeiten und 95 % mit 2 Fähigkeiten, gegenüber 18 % für eine von Hand abgestimmte Heuristik ohne Dynamikvorhersage.
RoboCraft als gelernte Dynamik in derselben Pipeline: Table 3 berichtet einen Mittelwert von 48 %, während seine sechs Einzelwerte pro Aufbau in derselben Tabelle (4, 7, 4, 6, 7 und 5 von 10) zusammen 33/60 ergeben, also 55 %.
Regelungsfehler in der Simulation (MSE): 0,905 mm für die Methode, gegenüber 22,925 mm für parametriertes PPO, 34,861 mm für die Heuristik, 87,479 mm für PPO und 265,411 mm für SAC.
Vorhersagefehler beim Primitiv transport: MSE 0,666 mm, EMD 31,232 mm und Chamfer-Distanz 38,068 mm, gegenüber 1,091, 42,162 und 55,615 mm für RoboCraft; beim einfacheren Primitiv push hat RoboCraft einen niedrigeren MSE (0,216 gegenüber 0,292 mm), innerhalb einer Standardabweichung.
Verformbare Objekte (Anhang): 6/10 mit 3 Fähigkeiten und 4/10 mit 2 Fähigkeiten, gegenüber 2/10 für RoboCraft und 0/10 für die Heuristik.
Trainingsdaten: 300 Episoden mit Zufallsparametern pro Primitiv; die Vorhersagegenauigkeit für push und sweep erreicht bei etwa 50 Stichproben ein Plateau, für transport bei etwa 140.

Einschränkungen

Stützt sich auf manuelle menschliche Annotation geordneter Keyframes aus Demonstrationen, was laut den Autoren die Skalierbarkeit auf größere und komplexere Szenarien einschränken könnte.
Objekte werden in Training und Inferenz als quaderförmige Punktwolken dargestellt, was laut den Autoren die reale Objektgeometrie, bei der Interaktionen und Kontakte komplexer sind, möglicherweise nicht abbildet.
Die Wahrnehmung in der realen Welt behandelt jedes Objekt als Quader und identifiziert es per SIFT-Abgleich mit vorab aufgenommenen Seiten- und Draufsichtbildern für eine Datenbank bekannter Objekte.
Bei verformbaren Objekten sinkt der Erfolg (bestenfalls 6/10).
Die Primitivbibliothek (sweep, push, transport) ist von Hand entworfen; die Autoren nennen Primitiv-Design und Fähigkeitskomposition als offene Forschungsrichtungen.

Wirkung auf das Fachgebiet

Finalist für den CoRL 2023 Best Paper / Best Student Paper Award und 32-mal zitiert. Das Paper steuert einen in robosuite und MuJoCo aufgebauten Einräum-Benchmark für Manipulation mit langem Horizont bei; es nennt keinen Link zu Code oder Daten.

Zusammenfassung

Das Einräumen (Stowing), also das Platzieren von Objekten in vollen Regalen oder Behältern, ist eine häufige Aufgabe in Lager- und Fertigungsbetrieben. Diese Aufgabe wird jedoch noch überwiegend von menschlichen Arbeitskräften ausgeführt, da das Einräumen aufgrund der komplexen Interaktionen mehrerer Objekte und des langen Horizonts der Aufgabe schwer zu automatisieren ist. Frühere Arbeiten erfordern typischerweise umfangreiche Datenerhebung und kostspielige menschliche Annotation semantischer Priors über verschiedenste Objektkategorien hinweg. Dieses Paper stellt eine Methode vor, um eine generalisierbare Roboter-Policy zum Einräumen aus einem prädiktiven Modell von Objektinteraktionen und einer einzigen Demonstration mit Verhaltensprimitiven zu lernen. Wir schlagen ein neuartiges Framework vor, das Graph Neural Networks nutzt, um Objektinteraktionen im Parameterraum von Verhaltensprimitiven vorherzusagen. Weiter setzen wir eine primitivgestützte Trajektorienoptimierung ein, um die Parameter einer vordefinierten Bibliothek heterogener Verhaltensprimitive zu durchsuchen und so die Steueraktion zu instanziieren. Unser Framework ermöglicht es Robotern, Einräumaufgaben mit langem Horizont mit wenigen Keyframes (3-4) aus einer einzigen Demonstration gekonnt auszuführen. Obwohl es ausschließlich in einer Simulation trainiert wurde, zeigt unser Framework bemerkenswerte Generalisierungsfähigkeiten. Es passt sich effizient an ein breites Spektrum realer Bedingungen an, darunter verschiedene Regalbreiten, schwankende Objektanzahlen und Objekte mit unterschiedlichen Eigenschaften wie Größe und Form.

Open Source Robotics