Evaluating Real-World Robot Manipulation Policies in Simulation

Autoren: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

SIMPLER: quelloffene simulierte Versionen der Aufbauten Google Robot und WidowX/BridgeData V2, deren Policy-Rangfolgen den realen Ergebnissen folgen (MMRV 0,031, r 0,976 bei Pick Coke Can).

Warum es wichtig ist

Teams, die Imitationslern-Policies iterativ entwickeln, erhalten ein günstiges, wiederholbares Signal, das der realen Leistung folgt, und das Paper zeigt, dass der Aktions-MSE auf Validierungsdaten dafür ein schlechter Ersatz ist (Tabelle I). Die Umgebungen lassen sich mit pip installieren, nutzen die Standard-Gym-Schnittstelle und rendern 3,5k Simulationsschritte pro Sekunde auf einer RTX 4090, was die Autoren als 7× Beschleunigung gegenüber realer Evaluierung angeben.

Problem

Generalistische Manipulations-Policies müssen über viele Aufgaben und Szenen hinweg getestet werden, und eine Evaluierung am realen Roboter in dieser Breite ist teuer, langsam und zwischen Laboren schwer reproduzierbar. Vollständige digitale Zwillinge für die Simulation zu bauen ist ebenfalls aufwendig, da Geometrie, Materialien, Beleuchtung und physikalische Eigenschaften von Hand erstellt werden müssen.

Lösungsansatz

Die Autoren bauen Simulationen, die nur so realistisch sind, dass simulierte und reale Erfolgsraten die Policies in derselben Rangfolge ordnen. Die Regelungslücke schließen sie, indem sie Steifigkeit und Dämpfung des simulierten Reglers identifizieren (Simulated Annealing auf den Endeffektor-Folgefehler gegenüber vorhandenen Demonstrationsdaten), die visuelle Lücke durch „Green-Screening“ eines realen Hintergrunds hinter simulierten Vordergrundobjekten und durch Anpassung der Objekt- und Roboterarmtexturen an reale Bilder. Außerdem schlagen sie die Metrik Mean Maximum Rank Violation (MMRV) vor, die jeden Rangfehler mit dem realen Leistungsabstand zwischen den falsch eingeordneten Policies gewichtet.

Wichtigste Erkenntnisse

Ein exakter digitaler Zwilling ist nicht nötig: Die Simulation muss nur die relative Rangfolge der Policies erhalten.
Pearson r allein kann in die Irre führen, da es eine lineare Anpassung belohnt und bei ähnlich guten Policies schon bei geringem Rauschen stark schwankt; MMRV gewichtet jede Rangverletzung mit dem realen Leistungsabstand.
Visuelle Korrekturen helfen nur gemeinsam: Green-Screen-Hintergrund plus texturangepasste Schublade und Roboter ergaben den niedrigsten MMRV bei der Schubladenaufgabe (0,050), während Teilkombinationen nicht besser waren als die Baseline von 0,087.
Die Systemidentifikation des Reglers ist wichtig: Gestörte Steifigkeit und Dämpfung erhöhten den MMRV bei Pick Coke Can von 0,031 auf 0,070–0,100.
Simulation kann bislang ungetestete reale Empfindlichkeiten vorhersagen, etwa die Empfindlichkeit von Octo-Base gegenüber der Textur des Roboterarms, die ein reales Experiment mit in Geschenkpapier gewickelten Armen anschließend bestätigte.

Hauptergebnisse

Google Robot mit Visual Matching: MMRV 0,031 / r 0,976 bei Pick Coke Can, 0,111 / 0,855 bei Move Near und 0,000 / 0,969 bei Open Drawer and Place Apple. Für Open/Close Drawer nennt Fig. 6 0,055 / 0,915, während die Spalte Drawer in Tabelle I 0,027 / 0,942 angibt; das Paper erklärt den Unterschied nicht.
Gemittelt über die Google-Robot-Aufgaben (Tabelle I): Visual Matching MMRV 0,056 und r 0,924, Variant Aggregation 0,143 und 0,778, Aktions-MSE auf Validierungsdaten 0,375 und 0,308.
WidowX mit BridgeData V2-Aufgaben: gemittelter MMRV 0,014 und r 0,890; alle Policies wurden bei allen Aufgaben bis auf eine richtig eingeordnet.
Verteilungsverschiebungen bei zwei RT-1-Checkpoints: MMRV 0,000 / r 0,831 ohne Datenaugmentierung und 0,016 / 0,970 mit; neue einfarbige Tischfarben senkten den realen Erfolg um 4 % und den simulierten um 2 %, gemusterte Texturen um 25 % real und 24 % simuliert.
Reproduziert in Isaac Sim mit Variant Aggregation bei Pick Coke Can und Move Near: MMRV 0,058 / r 0,919, gegenüber 0,082 / 0,923 in SAPIEN.
Octo-Base erreichte in der Simulation 0 % mit der nicht abgestimmten Armtextur und 29,3 % mit einer abgestimmten; Änderungen von Objektmasse, Greiferreibung oder Gelenkreibung des Schranks verschoben die Erfolgsraten um bis zu 15 %, während die Korrelationen hoch blieben.

Einschränkungen

Abgedeckt ist nur die Manipulation starrer Objekte; verformbare Objekte bleiben künftiger Arbeit mit Weichkörpersimulation überlassen.
Green-Screening ist auf feste Kameras beschränkt und gibt Objektschatten und andere visuelle Details nicht wieder.
Das Erstellen von Umgebungen erfordert weiterhin Handarbeit beim Kuratieren von Assets und Zusammenstellen von Szenen; artikulierte Objekte wie der Schrank verursachen den meisten Aufwand.
Physikalische Eigenschaften sind vereinfacht (einheitliche Dichten, mit GPT-4 oder Websuche nachgeschlagen, generische Reibungswerte), und es wird nicht erwartet, dass absolute Erfolgsraten mit der realen Welt übereinstimmen, nur die Rangfolgen.
Die reale Evaluierung einer Policy bei den Schubladenaufgaben wurde nach 2 Versuchen wegen der Gefahr einer Beschädigung des Roboters abgebrochen, sodass dieser MMRV eine obere Schätzung ist.

Wirkung auf das Fachgebiet

426-mal zitiert. Die Autoren veröffentlichen alle SIMPLER-Umgebungen, Inferenzcode der Policies für RT-1, RT-1-X und Octo sowie eine Anleitung zum Bau neuer Umgebungen unter simpler-env.github.io, dazu Kommandozeilen-Skripte zur Texturanpassung (github.com/Jiayuan-Gu/GeTex).

Zusammenfassung

Die Robotik hat erhebliche Fortschritte auf dem Weg zu generalistischen Policies für die Robotermanipulation gemacht. Die Evaluierung solcher Policies in der realen Welt ist jedoch nicht skalierbar und steht vor Problemen der Reproduzierbarkeit, die sich voraussichtlich verschärfen, je breiter das Spektrum der Aufgaben wird, die Policies ausführen können. Wir identifizieren Unterschiede in Regelung und Optik zwischen realen und simulierten Umgebungen als zentrale Herausforderungen für eine verlässliche simulierte Evaluierung und schlagen Ansätze vor, diese Lücken zu verringern, ohne vollständig originalgetreue digitale Zwillinge realer Umgebungen anfertigen zu müssen. Mit diesen Ansätzen erstellen wir dann SIMPLER, eine Sammlung simulierter Umgebungen zur Evaluierung von Manipulations-Policies auf gängigen realen Roboteraufbauten. Durch gepaarte Evaluierungen von Manipulations-Policies in Simulation und Realität zeigen wir eine starke Korrelation zwischen der Leistung der Policies in SIMPLER-Umgebungen und in der realen Welt. Außerdem stellen wir fest, dass SIMPLER-Evaluierungen reale Verhaltensmuster von Policies wie die Empfindlichkeit gegenüber verschiedenen Verteilungsverschiebungen genau widerspiegeln. Wir veröffentlichen alle SIMPLER-Umgebungen zusammen mit unserem Workflow zum Erstellen neuer Umgebungen als Open Source unter https://simpler-env.github.io, um die Forschung zu universellen Manipulations-Policies und simulierten Evaluierungs-Frameworks zu fördern.

Open Source Robotics