Equivariant Diffusion Policy

Autoren: Dian Wang, Stephen Hart, David Surovik, Tarik Kelestemur, Haojie Huang, Haibo Zhao, Mark Yeatman, Jiuguang Wang, Robin Walters, Robert Platt · CoRL 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Equivariant Diffusion Policy baut SO(2)-Rotationssymmetrie in den Entrauscher von Diffusion Policy ein, steigert den mittleren Simulationserfolg bei 100 Demos um 21,9 Punkte und lernt reale Aufgaben aus 20-60 Demos.

Warum es wichtig ist

Reale Demonstrationen sind teuer, und durch die eingebaute Rotationssymmetrie auf dem Tisch gelang der Policy der Erfolg bei sechs realen Aufgaben, darunter eine Bagel-Back-Aufgabe mit langem Horizont, mit 20 bis 60 Demonstrationen, wo eine Voxel-Baseline von Diffusion Policy meist scheiterte. Da die Analyse vollständige SE(3)-Greiferaktionen abdeckt, gilt sie auch für Aufgaben, die Rotation aus der Ebene heraus erfordern, die eine SE(2)-Variante nicht lösen konnte.

Problem

Diffusion Policy erfasst multimodales Demonstrationsverhalten, muss aber eine Entrauschungsfunktion über Beobachtungen, verrauschte Aktionen und Rauschniveaus lernen, was schwieriger ist als das Lernen einer direkten Policy von Zustand zu Aktion und mehr Daten erfordert. Frühere äquivariante Manipulations-Policies nutzten entweder offene SE(3)- oder geschlossene SE(2)-Aktionsräume, und keine wandte Symmetrie auf Diffusion Policies an.

Lösungsansatz

Die Autoren beweisen, dass die Rauschvorhersagefunktion SO(2)-äquivariant ist, sobald die Experten-Policy es ist, und leiten her, wie die Rotation um die Schwerkraftachse auf vollständige 6-DoF-Greiferaktionen wirkt, sowohl bei absoluter als auch bei relativer Posenregelung. Der Entrauscher verwendet äquivariante Beobachtungs- und Aktionsencoder (gebaut mit der Bibliothek escnn), die Einbettungen für eine diskrete Rotationsgruppe erzeugen, ein gemeinsames zeitliches 1D-U-Net, das je Gruppenelement angewendet wird, und einen äquivarianten Rauschdecoder. Eingaben können RGB-Bilder oder ein Voxelgitter mit 64×64×64 sein.

Wichtigste Erkenntnisse

Ist die Experten-Policy SO(2)-äquivariant, so ist es auch die Rauschvorhersagefunktion der Diffusion, was äquivariante Netze zu einem korrekten induktiven Bias für den Entrauscher macht.
Die Gewinne sind am größten bei wenigen Demonstrationen und bei Aufgaben mit breit randomisierten Anfangsposen der Objekte; bei Robomimic-Aufgaben mit geringer Zufälligkeit war die Methode ähnlich gut wie Diffusion Policy oder etwas besser.
In Ablationen war die äquivariante Struktur wichtiger als die Voxel-Eingabe: Bei 100 Demos senkte das Entfernen der Äquivarianz den mittleren Erfolg um 17,6 Punkte, das Entfernen der Voxel um 10,3.
Rotations-Datenaugmentierung bei einem Standard-CNN half bei einfachen Aufgaben wie Stack, blieb bei schwierigeren aber deutlich hinter dem äquivarianten Netz zurück.
Ein vollständiger SE(3)-Aktionsraum ist wichtig: Eine SE(2)-Variante erzielte bei Coffee Preparation 0,0 % gegenüber 85,3 % für SE(3) und bei Threading 12,7 % gegenüber 40,0 %.

Hauptergebnisse

Über 12 MimicGen-Aufgaben mit absoluter Regelung und 100 Demos erzielte die Voxel-Version im Mittel 63,9 % Erfolg gegenüber 42,0 % für Diffusion Policy (DiffPo-C), ein Gewinn von 21,9 Punkten; die RGB-Version erreichte im Mittel 53,7 %.
Mit 200 Demos schlug die Voxel-Version (72,6 %) jede mit 1000 Demos trainierte Baseline (beste 71,4 %).
Bei absoluter Regelung übertraf die Voxel-Version die Baselines in 11 von 12 Umgebungen, Ausnahme war Hammer Cleanup D1.
Auf einem realen Franka-Arm lag der Erfolg gegenüber einer Voxel-Baseline von Diffusion Policy bei: Oven Opening 95 % vs. 60 % (20 Demos); Banana in Bowl 95 % vs. 30 %, Letter Alignment 95 % vs. 0 %, Trash Sweeping 90 % vs. 5 % (je 40 Demos); Hammer to Drawer 85 % vs. 5 % (60 Demos); Bagel Baking 80 % vs. 10 % (58 Demos).
Alle Fehlschläge bei Bagel Baking gingen auf Gelenkgrenzen des Roboters zurück, und die Policy generalisierte zero-shot auf ungesehene Ofenrotationen, mit Ausnahme einer durch Gelenkgrenzen blockierten Pose.

Einschränkungen

Die Autoren merken an, dass die Äquivarianz wegen Symmetriefehlern im Bildverarbeitungssystem nur teilweise ausgenutzt wird; der im Voxelgitter sichtbare Arm und Kamerarauschen können die Symmetrie brechen.
„Falsche Äquivarianz“ kann die Leistung verschlechtern, wenn die Symmetrie des Modells im Widerspruch zu den Demonstrationen steht.
Die SO(2)-Aktionstheorie wird nur mit Diffusion Policies gezeigt, nicht mit anderen Pipelines wie BC RNN, das bei relativer Regelung gut abschnitt.
Die Methode ist noch nicht auf Navigation, Fortbewegung oder mobile Manipulation erweitert.
Bei RGB-Eingabe blickt die Agentenkamera nicht von oben, sodass die Bildrotation nicht der tatsächlichen Zustandsrotation entspricht; bei relativer Regelung war die RGB-Version nur geringfügig besser als die Baselines.

Wirkung auf das Fachgebiet

Finalist für den CoRL 2024 Outstanding Paper Award und 107-mal zitiert. Das Paper verweist auf eine Projektseite unter equidiff.github.io. Ein Code-Repository nennt es im Text nicht.

Zusammenfassung

Neuere Arbeiten haben gezeigt, dass Diffusionsmodelle ein wirksamer Ansatz sind, um die multimodalen Verteilungen zu lernen, die beim Behavior Cloning aus Demonstrationsdaten entstehen. Ein Nachteil dieses Ansatzes ist jedoch die Notwendigkeit, eine Entrauschungsfunktion zu lernen, die deutlich komplexer ist als das Lernen einer expliziten Policy. In dieser Arbeit schlagen wir Equivariant Diffusion Policy vor, eine neuartige Lernmethode für Diffusion Policies, die Symmetrien der Domäne nutzt, um eine bessere Stichprobeneffizienz und Generalisierung der Entrauschungsfunktion zu erreichen. Wir analysieren theoretisch die SO(2)-Symmetrie vollständiger 6-DoF-Steuerung und charakterisieren, wann ein Diffusionsmodell SO(2)-äquivariant ist. Weiterhin evaluieren wir die Methode empirisch auf einer Menge von 12 Simulationsaufgaben in MimicGen und zeigen, dass sie eine Erfolgsrate erzielt, die im Mittel 21,9 % höher ist als die der Baseline Diffusion Policy. Außerdem evaluieren wir die Methode auf einem realen System, um zu zeigen, dass sich mit relativ wenigen Trainingsbeispielen wirksame Policies lernen lassen, was der Baseline Diffusion Policy nicht gelingt.

Open Source Robotics