GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

Autoren: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

GenAug nutzt tiefengeführte Text-zu-Bild-Diffusion, um Objekte, Störobjekte und Hintergründe in wenigen realen Demonstrationen neu zu malen, sodass eine CLIPort-Pick-and-Place-Policy in ungesehenen Szenen funktioniert.

Warum es wichtig ist

Eine Policy, die mit 10 Demonstrationen in einer einfachen Umgebung trainiert wurde, kann anschließend in anderen realen Szenen eingesetzt werden, ohne weitere Roboterdaten zu erheben. Objektmasken werden nur für die Demonstrationen benötigt, nicht zur Testzeit.

Problem

Roboterlernen braucht große, vielfältige Datensätze, doch die Erhebung in der realen Welt ist teuer, und viele Roboterdatensätze stammen aus einem einzigen Aufbau mit wenigen Stunden Daten. Standard-Augmentierungen wie Farbjitter, Weichzeichnen und Zuschneiden decken Veränderungen des Erscheinungsbilds auf niedriger Ebene ab, nicht aber semantische Veränderungen wie neue Störobjekte, Hintergründe oder Objekterscheinungen.

Lösungsansatz

GenAug nimmt RGBD-Demonstrationen mit Objektmasken und kalibrierter Kamerapose entgegen und nutzt ein vortrainiertes, tiefengeführtes Text-zu-Bild-Diffusionsmodell, um Objekttexturen innerhalb einer Kategorie zu ändern, Objektkategorien zu tauschen, indem zunächst Meshes aus Google Scanned Objects und Free3D gerendert werden, kollisionsgeprüfte Störobjekte hinzuzufügen und Hintergründe neu zu malen. Da die Positionen des zu greifenden Objekts und des Ziels fest bleiben, bleiben die ursprünglichen Pick-and-Place-Aktionslabels gültig; jede Demonstration wird 100-mal augmentiert, und das Ergebnis trainiert eine CLIPort-Policy.

Wichtigste Erkenntnisse

Pick-and-Place-Aktionen bleiben über große visuelle Veränderungen hinweg gültig, solange die ungefähren Positionen von Objekt und Ziel unverändert bleiben, sodass erzeugte Bilder die ursprünglichen Aktionslabels wiederverwenden können.
Das Rendern von Objekt-Meshes vor der tiefengeführten Generierung hält kategorieübergreifende Ersetzungen 3D-konsistent; einfaches Inpainting erzeugte oft unplausible Bilder (Appendix A).
Copy-Paste- und Zufallshintergrund-Augmentierungen erhöhen die Robustheit gegenüber neuen Umgebungen, bleiben bei ungesehenen Objekten aber hinter GenAug zurück, was die Autoren als Beleg dafür werten, dass physikalisch plausible, semantisch sinnvolle Szenen wichtig sind.
Der Erfolg steigt, wenn die Anzahl der Augmentierungen pro Demonstration von 0 auf 10, 50 und 100 wächst (Figure 11).

Hauptergebnisse

Reale Welt, 10 Aufgaben mit je 10 Demonstrationen: 85 % mittlerer Erfolg in ungesehenen Umgebungen, 52 % bei ungesehenen abzulegenden Objekten und 45 % bei ungesehenen zu greifenden Objekten (Table I, 10 Szenen pro Bedingung).
Realer Vergleich mit CLIPort ohne GenAug (Table II, 5 Szenen pro Bedingung): 80 % gegenüber 38 % in ungesehenen Umgebungen, 54 % gegenüber 8 % bei ungesehenen abzulegenden Objekten und 46 % gegenüber 10 % bei ungesehenen zu greifenden Objekten.
Abstract und Fazit berichten eine Verbesserung der Generalisierung auf neue Szenen und Objekte um 40 % gegenüber dem Training ohne GenAug.
Simulation, ungesehene Umgebungen mit 100 Demonstrationen (Table III): GenAug erzielt 77,6 (TransporterNet) und 71,9 (CLIPort), GenAug mit Tiefe 91,2 und 73,4, gegenüber 9,8 und 14,4 ohne Augmentierung.
GenAug ist nicht in jeder Zelle von Table III die beste Methode; zum Beispiel erzielt Random Background 79,1 gegenüber 77,6 für GenAug in ungesehenen Umgebungen mit TransporterNet und 100 Demonstrationen.

Einschränkungen

GenAug augmentiert keine Aktionslabels und berücksichtigt weder Material noch Reibung noch Verformung; es nimmt an, dass die ursprüngliche Aktion weiterhin funktioniert und nicht mit hinzugefügten Objekten kollidiert (laut den Autoren).
Es kann keine visuelle Konsistenz über die Frames eines Videos hinweg garantieren (laut den Autoren).
Die Augmentierung einer Szene dauert etwa 30 Sekunden, was für Verfahren wie On-Policy-RL unpraktisch sein kann (laut den Autoren).
Fehlschläge treten auf, wenn Objekt und Hintergrund ähnliche Farben haben, wenn ein Störobjekt sehr hell oder ähnlich gefärbt ist oder wenn zu viele Objekte auf dem Tisch stehen.
Die Demonstrationen benötigen manuell gelabelte Objektmasken und eine kalibrierte Kamerapose sowie eine Bibliothek von Objekt-Meshes, und die Methode wurde nur für Pick-and-Place auf dem Tisch mit einem Sauggreifer getestet.

Wirkung auf das Fachgebiet

Finalistin für den RSS 2023 Best System Paper Award, mit 165 Zitationen. Die offizielle Projektseite genaug.github.io verlinkt ein Code-Repository.

Zusammenfassung

Methoden des Roboterlernens haben das Potenzial für eine breite Generalisierung über Aufgaben, Umgebungen und Objekte hinweg. Diese Methoden erfordern jedoch große, vielfältige Datensätze, deren Erhebung in realen Robotikumgebungen teuer ist. Damit Roboterlernen generalisiert, müssen wir Datenquellen oder Priors nutzen können, die über die eigene Erfahrung des Roboters hinausgehen. In dieser Arbeit vertreten wir die These, dass generative Bild-Text-Modelle, die auf großen Korpora aus dem Web gesammelter Daten vortrainiert sind, als eine solche Datenquelle dienen können. Wir zeigen, dass diese generativen Modelle, obwohl sie größtenteils auf Daten ohne Robotikbezug trainiert sind, als wirksames Mittel dienen können, um Priors so in den Prozess des Roboterlernens einzubringen, dass eine breite Generalisierung möglich wird. Insbesondere zeigen wir, wie vortrainierte generative Modelle als wirksame Werkzeuge für semantisch sinnvolle Datenaugmentierung dienen können. Indem wir diese vortrainierten Modelle zur Erzeugung geeigneter "semantischer" Datenaugmentierungen nutzen, schlagen wir ein System GenAug vor, das die Generalisierung von Policies deutlich verbessern kann. Wir wenden GenAug auf Manipulationsaufgaben auf dem Tisch an und zeigen die Fähigkeit, Verhalten auf neue Szenarien zu übertragen, wobei nur geringe Mengen realer Daten benötigt werden. Wir belegen die Wirksamkeit dieses Systems an einer Reihe von Objektmanipulationsproblemen in der realen Welt und zeigen eine Verbesserung der Generalisierung auf neue Szenen und Objekte um 40 %.

Open Source Robotics