Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

Auteurs: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Une récompense de style apprise de manière adversariale à partir de 4,5 s de capture de mouvement d'un berger allemand remplace une récompense conçue à la main et se transfère à un quadrupède A1 réel avec un coût de transport plus faible.

Pourquoi c'est important

Le réglage de la récompense représente une large part du travail d'ingénierie en locomotion à pattes sim-to-real. L'article montre que quelques secondes de mouvement de référence peuvent tenir lieu d'une récompense de style à 13 termes conçue à la main sur un quadrupède réel, tandis que la politique s'écarte toujours des extraits autant que nécessaire pour suivre les vitesses commandées et change d'allure selon la vitesse.

Problème

Les agents d'apprentissage par renforcement pour la locomotion à pattes entraînés avec une récompense sous-spécifiée apprennent souvent des comportements comme des membres qui s'agitent, des vibrations des jambes ou des contacts à forte impulsion, qui exploitent les inexactitudes du simulateur et ne peuvent pas fonctionner sur un robot réel. Le remède habituel est une récompense de style complexe conçue à la main, qui exige une connaissance approfondie du domaine et un réglage délicat, et tend à être propre à une plateforme et à une tâche.

Solution proposée

Les auteurs adaptent Adversarial Motion Priors (AMP) de l'infographie : un discriminateur entraîné avec un objectif GAN aux moindres carrés et une pénalité de gradient apprend à distinguer les transitions d'état d'un jeu de données de capture de mouvement des transitions produites par la politique, et sa sortie devient une récompense de style ajoutée à une récompense de tâche de suivi de vitesse (poids 0,65 et 0,35). Des extraits de berger allemand totalisant 4,5 secondes sont reciblés sur le robot A1 par cinématique inverse, et la politique (angles articulaires cibles à 30 Hz, suivis par des contrôleurs PD) est entraînée avec PPO sur 5 280 environnements Isaac Gym avec randomisation de domaine avant le déploiement sur le matériel.

Idées clés

• Une récompense de style apprise de manière adversariale à partir de 4,5 s de capture de mouvement peut remplacer une récompense de style à 13 termes conçue à la main et produire tout de même des politiques déployables sur un quadrupède réel.
• Comme le discriminateur évalue des transitions d'état au lieu de suivre un extrait précis, la politique peut suivre des commandes de vitesse qui n'apparaissent pas dans les données de référence.
• Les politiques entraînées avec le prior de mouvement changent d'allure selon la vitesse commandée (amble à 0,8 m/s, trot à 1,7 m/s, et passage de l'amble au petit galop lorsque la commande passe de 1 m/s à 2 m/s), ce que les auteurs rapprochent de la façon dont les animaux réduisent leur dépense d'énergie.
• Sans récompense de style, la politique exploite une dynamique de simulateur inexacte en faisant vibrer ses pieds à vitesse et couple élevés ; elle suit bien la vitesse mais est trop violente pour fonctionner sur le robot réel.
• Les auteurs attribuent le coût de transport plus faible à des stratégies économes en énergie déjà présentes dans les données de mouvement du chien.

Principaux résultats

• Coût de transport mécanique en simulation (Table II), aux vitesses commandées de 0,4, 0,8, 1,2 et 1,6 m/s : 1,07, 0,93, 1,02 et 1,12 avec la récompense AMP contre 1,54, 1,37, 1,40 et 1,41 avec la récompense de style complexe. Le texte donne pour la récompense complexe une plage de 1,37 à 1,65, ce qui ne correspond pas à la valeur la plus élevée du tableau, 1,54.
• Sans récompense de style, le coût de transport était de 14,03, 8,00, 6,05 et 5,18 aux mêmes quatre vitesses, en raison de couples et de vitesses moteur élevés.
• Vitesse d'avance mesurée pour des commandes de 0,4/0,8/1,2/1,6 m/s : 0,36/0,77/1,11/1,52 m/s avec AMP, 0,41/0,88/1,28/1,67 m/s avec la récompense complexe et 0,42/0,82/1,22/1,61 m/s sans récompense de style.
• L'entraînement a nécessité 4 milliards de pas d'environnement (environ 4,2 années de données simulées) en 16 heures sur un seul GPU Tesla V100.
• Sur l'A1 réel, la politique AMP a suivi des commandes sinusoïdales de vitesse linéaire et angulaire, a parcouru un itinéraire comportant des virages serrés, et est passée de l'amble au petit galop lorsque la commande est passée de 1 m/s à 2 m/s.

Limites

• L'article n'a pas de section sur les limites. Son évaluation sur robot réel est qualitative (diagrammes d'allure, tracés de vitesse, courbes de coût de transport et un exemple de suivi d'itinéraire), sans taux de réussite ni tableaux d'énergie mesurés sur le matériel.
• Tous les chiffres de coût de transport et de suivi de vitesse de la Table II proviennent de la simulation.
• Les données de référence sont 4,5 s d'un seul berger allemand (amble, trot, petit galop et rotation sur place), reciblées sur un seul robot, l'A1 ; aucun autre robot ni aucune autre compétence n'est testé.
• En simulation, la politique AMP avance légèrement en dessous de la vitesse commandée pour chaque commande testée (par exemple 1,52 m/s pour une commande de 1,6 m/s).

Impact sur le domaine

Finaliste du IROS 2022 Best Paper Award et du ABB Best Student Paper Award, et cité 210 fois. L'article renvoie vers une page de projet avec des vidéos et vers le dépôt du projet, qui donne le lien vers le code à l'adresse github.com/Alescontrela/AMP_for_hardware.

Résumé

Entraîner un agent simulé de grande dimension avec une fonction de récompense sous-spécifiée conduit souvent l'agent à apprendre des stratégies physiquement irréalisables, inefficaces lorsqu'elles sont déployées dans le monde réel. Pour atténuer ces comportements non naturels, les praticiens de l'apprentissage par renforcement utilisent souvent des fonctions de récompense complexes qui encouragent des comportements physiquement plausibles. Cependant, un processus de réglage fastidieux et laborieux est souvent nécessaire pour créer des récompenses conçues à la main, qui pourraient ne pas se généraliser facilement d'une plateforme ou d'une tâche à l'autre. Nous proposons de remplacer les fonctions de récompense complexes par des « récompenses de style » apprises à partir d'un jeu de données de démonstrations en capture de mouvement. Une récompense de style apprise peut être combinée avec une récompense de tâche arbitraire pour entraîner des politiques qui accomplissent des tâches au moyen de stratégies naturalistes. Ces stratégies naturelles peuvent aussi faciliter le transfert vers le monde réel. Nous nous appuyons sur Adversarial Motion Priors – une approche issue de l'infographie qui encode une récompense de style à partir d'un jeu de données de mouvements de référence – pour démontrer qu'une approche adversariale de l'entraînement de politiques peut produire des comportements qui se transfèrent à un robot quadrupède réel sans nécessiter de fonctions de récompense complexes. Nous démontrons également qu'une récompense de style efficace peut être apprise à partir de quelques secondes de données de capture de mouvement recueillies sur un berger allemand, et qu'elle conduit à des stratégies de locomotion économes en énergie avec des transitions d'allure naturelles.

Liens

• arXiv 2203.15103: https://arxiv.org/abs/2203.15103
• DOI 10.1109/IROS47612.2022.9981973: https://doi.org/10.1109/IROS47612.2022.9981973
• PDF: https://arxiv.org/pdf/2203.15103v1
• Code: https://github.com/escontra/AMP_for_hardware
• Page du projet: https://sites.google.com/berkeley.edu/amp-in-real/home