XIRL: Cross-embodiment Inverse Reinforcement Learning

Auteurs: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Des plongements à cohérence de cycle temporelle, appris à partir de vidéos de démonstrateurs aux incarnations différentes, fournissent une récompense de distance au but qui entraîne des politiques RL sur des incarnations inédites.

Pourquoi c'est important

La récompense ne nécessite que des vidéos : ni étiquettes d'action, ni images appariées, ni instrumentation de l'environnement au-delà d'une caméra. Dans les expériences de l'article, la même récompense apprise a entraîné des agents dont le corps était absent de l'ensemble de démonstrations, ce qui correspond à la situation où l'on enseigne une tâche à un robot à partir de vidéos humaines.

Problème

Les robots pourraient apprendre des tâches à partir de vidéos à la troisième personne, comme des humains qui les démontrent, mais le corps du démonstrateur diffère de celui du robot, si bien que chacun résout la tâche avec une stratégie et une trajectoire différentes. Les méthodes antérieures d'apprentissage de récompense nécessitaient une trajectoire de référence, un alignement par indice temporel ou des correspondances d'images étiquetées par des humains entre démonstrateur et apprenant.

Solution proposée

XIRL entraîne un encodeur d'images ResNet-18 par cohérence de cycle temporelle (temporal cycle-consistency, TCC) sur des vidéos d'observations seules regroupées à partir de plusieurs incarnations, sans étiquettes d'incarnation. La récompense est une sigmoïde de l'opposé de la distance au carré, mise à l'échelle par une température, entre le plongement de l'image courante et le plongement moyen des dernières images des démonstrations, et une politique Soft Actor-Critic est entraînée sur cette récompense pour la nouvelle incarnation.

Idées clés

• Les plongements TCC encodent la progression de la tâche, de sorte que la distance à un unique plongement but fournit une récompense dense sans trajectoire de référence ni alignement par indice temporel.
• Regrouper des démonstrations issues de davantage d'incarnations, le total étant maintenu à 1000 démonstrations, a accéléré le RL sur une incarnation tenue à l'écart.
• Des corps différents résolvent la même tâche de façon très différente : dans X-MAGICAL, la longueur moyenne des démonstrations va de 48,0 pas (long-stick) à 110,8 (gripper).
• La récompense apprise accorde un crédit partiel pour une progression partielle, par exemple pour un déplacement vers un tiroir avant de le heurter, là où la récompense éparse de l'environnement reste à zéro.

Principaux résultats

• Balayage X-MAGICAL avec la même incarnation : XIRL a été au moins aussi efficace en échantillons que les autres récompenses apprises et plus efficace en échantillons que la récompense de l'environnement pour 3 incarnations sur 4.
• Inter-incarnations, chacun des 4 agents étant tenu à l'écart avec l'encodeur entraîné sur les 3 autres : XIRL a généralisé au nouvel agent significativement mieux que les récompenses TCN, LIFS et par classifieur de but (5 graines, 50 épisodes d'évaluation chacune).
• Des vidéos humaines réelles du jeu de données RLV entraînant un bras Sawyer simulé à pousser un bloc : XIRL plus la récompense éparse a été plus efficace en échantillons que RLV et que la récompense éparse seule, sans étiquettes d'images appariées ni données du domaine robotique dans l'apprentissage de la récompense.
• X-REAL : 93 vidéos réelles de 9 effecteurs terminaux (mains humaines, gants de ski, pinces de cuisine, costume de main de homard, pince à épiler, serre-joints, une pince de préhension à long manche) déplaçant cinq stylos dans deux gobelets ; pour One Hand 5 Fingers, une tentative incomplète a reçu environ la moitié de la récompense d'une tentative réussie.
• Benchmark X-MAGICAL : 4 incarnations simulées avec 1000 démonstrations expertes chacune.

Limites

• Aucune politique n'a été entraînée sur un robot réel ; les auteurs indiquent qu'il leur reste à montrer l'apprentissage de politique sur un robot réel.
• X-MAGICAL est une tâche de balayage 2D construite sur PyMunk, que les auteurs décrivent comme une version très simplifiée du scénario réel.
• Les démonstrations ne contiennent que des trajectoires réussies, de sorte qu'un encodeur qui généralise mal peut définir une tâche différente de celle voulue ; l'article suggère de combiner la récompense apprise avec une récompense de tâche éparse.
• Sur le jeu de données réel X-REAL, l'article ne montre que des courbes de récompense apprise, pas d'apprentissage de politique.
• La plupart des résultats sont donnés sous forme de courbes d'apprentissage plutôt que de taux de réussite tabulés, si bien que peu de chiffres exacts sont rapportés.

Impact sur le domaine

Finaliste du CoRL 2021 Best Paper Award, avec 182 citations selon le chiffre indiqué. L'article introduit le benchmark X-MAGICAL et le jeu de données X-REAL ; la copie v1 sous licence indique que le code et les jeux de données seront mis à disposition, mais ne donne aucun lien.

Résumé

Nous étudions le cadre de l'imitation visuelle inter-incarnations (cross-embodiment), dans lequel des agents apprennent des politiques à partir de vidéos d'autres agents (tels que des humains) démontrant la même tâche, mais avec de fortes différences d'incarnation – forme, actions, dynamique de l'effecteur terminal, etc. Dans ce travail, nous démontrons qu'il est possible de découvrir et d'apprendre automatiquement, à partir de vidéos de démonstration inter-incarnations, des fonctions de récompense fondées sur la vision qui sont robustes à ces différences. Plus précisément, nous présentons une méthode auto-supervisée d'apprentissage par renforcement inverse inter-incarnations (Cross-embodiment Inverse Reinforcement Learning, XIRL) qui exploite des contraintes de cohérence de cycle temporelle pour apprendre des plongements visuels profonds capturant la progression de la tâche, à partir de vidéos hors ligne de démonstrations de plusieurs agents experts, chacun réalisant la même tâche différemment en raison de différences d'incarnation. Avant nos travaux, produire des récompenses à partir de plongements auto-supervisés nécessitait généralement un alignement avec une trajectoire de référence, qui peut être difficile à obtenir. Nous montrons empiriquement que, si les plongements tiennent compte de la progression de la tâche, il suffit de prendre la distance négative entre l'état courant et l'état but dans l'espace de plongement appris pour obtenir une récompense utile à l'entraînement de politiques par apprentissage par renforcement. Nous constatons que notre fonction de récompense apprise fonctionne non seulement pour les incarnations vues pendant l'entraînement, mais généralise aussi à des incarnations entièrement nouvelles. Nous constatons également que les politiques XIRL sont plus efficaces en échantillons que les baselines et, dans certains cas, dépassent l'efficacité en échantillons du même agent entraîné avec des récompenses éparses de vérité terrain.

Liens

• arXiv 2106.03911: https://arxiv.org/abs/2106.03911
• DOI 10.48550/arXiv.2106.03911: https://doi.org/10.48550/arXiv.2106.03911
• PDF: https://arxiv.org/pdf/2106.03911v1