GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

Auteurs: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

GenAug utilise une diffusion texte-image guidée par la profondeur pour repeindre les objets, les distracteurs et les arrière-plans de quelques démonstrations réelles, de sorte qu'une politique de prise et dépose CLIPort fonctionne dans des scènes jamais vues.

Pourquoi c'est important

Une politique entraînée à partir de 10 démonstrations dans un seul environnement simple peut ensuite être utilisée dans d'autres scènes réelles sans collecter davantage de données robotiques. Les masques d'objets ne sont nécessaires que pour les démonstrations, pas au moment du test.

Problème

L'apprentissage robotique a besoin de grands jeux de données variés, mais la collecte en conditions réelles est coûteuse et de nombreux jeux de données robotiques proviennent d'un seul dispositif avec quelques heures de données. Les augmentations standard comme la variation de couleur, le flou et le recadrage couvrent les changements d'apparence de bas niveau, mais pas les changements sémantiques tels que de nouveaux distracteurs, arrière-plans ou apparences d'objets.

Solution proposée

GenAug prend des démonstrations RGBD avec des masques d'objets et une pose de caméra calibrée, et utilise un modèle de diffusion texte-image préentraîné guidé par la profondeur pour changer les textures des objets au sein d'une catégorie, remplacer des catégories d'objets en rendant d'abord des maillages issus de Google Scanned Objects et de Free3D, ajouter des distracteurs vérifiés contre les collisions et repeindre les arrière-plans. Comme les positions de l'objet à saisir et de la cible restent fixes, les étiquettes d'action de prise et dépose d'origine restent valides ; chaque démonstration est augmentée 100 fois et le résultat sert à entraîner une politique CLIPort.

Idées clés

• Les actions de prise et dépose restent valides malgré de grands changements visuels tant que les positions approximatives de l'objet et de la cible restent inchangées, si bien que les images générées peuvent réutiliser les étiquettes d'action d'origine.
• Rendre les maillages des objets avant la génération guidée par la profondeur garantit la cohérence 3D des remplacements entre catégories ; le simple inpainting produisait souvent des images invraisemblables (Appendix A).
• Les augmentations par copier-coller et par arrière-plan aléatoire ajoutent de la robustesse face aux nouveaux environnements mais restent en deçà de GenAug sur les objets jamais vus, ce que les auteurs interprètent comme la preuve que des scènes physiquement plausibles et sémantiquement significatives comptent.
• La réussite augmente à mesure que le nombre d'augmentations par démonstration passe de 0 à 10, 50 et 100 (Figure 11).

Principaux résultats

• Monde réel, 10 tâches avec 10 démonstrations chacune : 85 % de réussite moyenne dans des environnements jamais vus, 52 % sur des objets à déposer jamais vus et 45 % sur des objets à saisir jamais vus (Table I, 10 scènes par condition).
• Comparaison réelle avec CLIPort entraîné sans GenAug (Table II, 5 scènes par condition) : 80 % contre 38 % dans des environnements jamais vus, 54 % contre 8 % sur des objets à déposer jamais vus et 46 % contre 10 % sur des objets à saisir jamais vus.
• Le résumé et la conclusion rapportent une amélioration de 40 % de la généralisation à de nouvelles scènes et à de nouveaux objets par rapport à l'entraînement sans GenAug.
• Simulation, environnements jamais vus avec 100 démonstrations (Table III) : GenAug obtient 77,6 (TransporterNet) et 71,9 (CLIPort), GenAug avec profondeur 91,2 et 73,4, contre 9,8 et 14,4 sans augmentation.
• GenAug n'est pas la meilleure méthode dans chaque cellule du Table III ; par exemple, Random Background obtient 79,1 contre 77,6 pour GenAug dans des environnements jamais vus avec TransporterNet et 100 démonstrations.

Limites

• GenAug n'augmente pas les étiquettes d'action et ne tient pas compte du matériau, du frottement ou de la déformation ; il suppose que l'action d'origine fonctionne toujours et n'entre pas en collision avec les objets ajoutés (selon les auteurs).
• Il ne peut pas garantir la cohérence visuelle entre les images d'une vidéo (selon les auteurs).
• L'augmentation d'une scène prend environ 30 secondes, ce qui peut être peu pratique pour des méthodes comme le RL on-policy (selon les auteurs).
• Des échecs surviennent lorsque l'objet et l'arrière-plan ont des couleurs proches, lorsqu'un distracteur est très lumineux ou de couleur semblable, ou lorsque la table porte trop d'objets.
• Les démonstrations nécessitent des masques d'objets étiquetés à la main et une pose de caméra calibrée ainsi qu'une bibliothèque de maillages d'objets, et la méthode n'a été testée qu'en prise et dépose sur table avec une ventouse.

Impact sur le domaine

Finaliste du RSS 2023 Best System Paper Award, avec 165 citations. La page officielle du projet, genaug.github.io, renvoie vers un dépôt de code.

Résumé

Les méthodes d'apprentissage robotique ont le potentiel de généraliser largement à travers les tâches, les environnements et les objets. Cependant, ces méthodes nécessitent de grands jeux de données variés qui sont coûteux à collecter dans des contextes robotiques réels. Pour que l'apprentissage robotique généralise, nous devons pouvoir exploiter des sources de données ou des a priori au-delà de la propre expérience du robot. Dans ce travail, nous postulons que les modèles génératifs image-texte, préentraînés sur de grands corpus de données collectées sur le web, peuvent servir de telle source de données. Nous montrons que, bien que ces modèles génératifs soient entraînés sur des données en grande partie étrangères à la robotique, ils peuvent constituer des moyens efficaces d'introduire des a priori dans le processus d'apprentissage robotique d'une manière qui permet une large généralisation. En particulier, nous montrons comment des modèles génératifs préentraînés peuvent servir d'outils efficaces pour une augmentation de données sémantiquement significative. En exploitant ces modèles préentraînés pour générer des augmentations de données "sémantiques" appropriées, nous proposons un système, GenAug, capable d'améliorer significativement la généralisation des politiques. Nous appliquons GenAug à des tâches de manipulation sur table, montrant la capacité à reporter un comportement sur de nouveaux scénarios tout en ne nécessitant que des quantités marginales de données réelles. Nous démontrons l'efficacité de ce système sur plusieurs problèmes de manipulation d'objets dans le monde réel, avec une amélioration de 40 % de la généralisation à de nouvelles scènes et à de nouveaux objets.

Liens

• arXiv 2302.06671: https://arxiv.org/abs/2302.06671
• DOI 10.48550/arXiv.2302.06671: https://doi.org/10.48550/arXiv.2302.06671
• PDF: https://arxiv.org/pdf/2302.06671v1
• Code: https://github.com/genaug/genaug
• Page du projet: https://genaug.github.io/