PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

Auteurs: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un encodeur de profondeur et de proprioception à 128 dimensions entraîné par information prédictive, avec une petite tête de politique entraînée par ARS : 100 % de réussite sur de vraies pierres de gué contre 40 % pour ARS.

Pourquoi c'est important

La méthode conserve le parallélisme et la simplicité des stratégies d'évolution tout en réduisant leur principal obstacle pour la commande fondée sur la vision, la taille de l'espace de recherche des paramètres. Les politiques ont été transférées de PyBullet à un Laikago réel pour les pierres de gué et la navigation en intérieur, avec la même procédure sim-to-real que les travaux ARS antérieurs.

Problème

Les stratégies d'évolution comme Augmented Random Search (ARS) se parallélisent bien et explorent dans l'espace des paramètres, mais passent mal à l'échelle vers les nombreux paramètres des réseaux convolutifs nécessaires à la locomotion visuelle. Dans les tests des auteurs, les alternatives fondées sur le gradient SAC et PI-SAC n'ont fait aucun progrès significatif sur ces tâches, et la politique de locomotion visuelle ARS antérieure n'atteignait que 40 % de réussite sur de vraies pierres de gué.

Solution proposée

PI-ARS divise l'agent en un encodeur et une petite tête de politique. L'encodeur projette deux images de profondeur 32×24 et les états proprioceptifs vers un vecteur à 128 dimensions et est entraîné par descente de gradient pour maximiser l'information prédictive, en combinant un terme InfoNCE qui prédit l'observation de profondeur future avec une prédiction de la récompense par RNN, sur les trajectoires qu'ARS collecte déjà ; ARS n'optimise ensuite qu'une tête MLP à 3 couches qui envoie des commandes de haut niveau à un contrôleur de bas niveau fondé sur la MPC.

Idées clés

• Séparer l'apprentissage de représentations (fondé sur le gradient) de la recherche de politique (sans gradient) évite le problème de passage à l'échelle des stratégies d'évolution tout en conservant leurs avantages.
• Les trajectoires issues des déroulements perturbés d'ARS sont stockées dans un tampon de rejeu et réutilisées pour entraîner l'encodeur, de sorte que l'apprentissage de représentations ne nécessite aucune donnée d'environnement supplémentaire.
• La prédiction de la récompense seule a donné des représentations trop faibles pour résoudre les tâches ; le terme contrastif d'observation future était nécessaire.
• Les auteurs suggèrent que l'exploration de l'espace des paramètres et la stabilité d'ARS sont ici déterminantes : ajouter l'information prédictive à SAC (PI-SAC) n'a pas aidé, une bonne représentation seule ne suffisait donc pas.

Principaux résultats

• Pierres de gué réelles (quatre pierres, trois écarts de 0,12–0,18 m) : PI-ARS réussit 10 essais sur 10 (100 %), contre 40 % pour la référence ARS dans les mêmes conditions d'entraînement et d'évaluation.
• Pierres de gué irrégulières simulées : le retour moyen après 2 000 000 épisodes d'entraînement augmente de 48,01 %, de 2,93 à 4,34.
• PI-ARS donne des retours plus élevés et une meilleure efficacité en échantillons qu'ARS sur les quatre tâches simulées : pierres de gué irrégulières, pieux en quinconce, plateformes mobiles et navigation en intérieur.
• SAC et PI-SAC n'ont fait aucun progrès d'apprentissage non négligeable sur ces tâches malgré un réglage approfondi des hyperparamètres.
• Navigation réelle en intérieur : la politique a atteint la cible et trouvé un raccourci entre deux obstacles, mais elle a heurté le bras de l'un des obstacles.
• L'entraînement a utilisé 1 024 perturbations par itération d'ARS en conservant les 512 meilleures, jusqu'à 4 000 itérations (au plus 2 048 000 épisodes de simulation par essai), et 30 essais par méthode.

Limites

• Lors de la navigation réelle en intérieur, le robot a heurté le bras d'un obstacle parce qu'il n'avait été entraîné que sur des obstacles simulés en forme de boîte.
• Seules des tâches en intérieur ont été testées ; la locomotion visuelle en extérieur est laissée à des travaux futurs.
• La politique pour les pierres de gué réelles a été entraînée sur une version plus facile du terrain simulé, avec de plus petites variations de hauteur des pierres.
• La navigation en intérieur a nécessité un système de capture de mouvement pour suivre la position de la base du robot afin d'obtenir le vecteur relatif vers le but.
• La politique apprise ne produit que des commandes de haut niveau et dépend d'un contrôleur de bas niveau fondé sur la MPC pour les exécuter.

Impact sur le domaine

Finaliste du IROS 2022 Best Paper Award et du ABB Best Student Paper Award, avec 21 citations. Les auteurs publient une page de vidéos complémentaires ; l'article ne mentionne aucune publication de code.

Résumé

Les algorithmes de stratégie d'évolution (Evolution Strategy, ES) ont montré des résultats prometteurs pour l'entraînement de politiques de commande robotique complexes grâce à leur capacité de parallélisme massif, leur mise en œuvre simple, leur exploration efficace de l'espace des paramètres et leur temps d'entraînement court. Cependant, une limite essentielle des ES est leur passage à l'échelle vers des modèles de grande capacité, y compris les architectures modernes de réseaux de neurones. Dans ce travail, nous développons Predictive Information Augmented Random Search (PI-ARS) pour atténuer cette limite en tirant parti des progrès récents de l'apprentissage de représentations afin de réduire l'espace de recherche des paramètres pour les ES. Plus précisément, PI-ARS combine une technique d'apprentissage de représentations fondée sur le gradient, Predictive Information (PI), avec un algorithme ES sans gradient, Augmented Random Search (ARS), pour entraîner des politiques capables de traiter des entrées sensorielles robotiques complexes et de gérer une dynamique robotique fortement non linéaire. Nous évaluons PI-ARS sur un ensemble de tâches difficiles de locomotion visuelle dans lesquelles un robot quadrupède doit marcher sur des pierres de gué irrégulières, des pieux disposés en quinconce et des plateformes mobiles, ainsi qu'accomplir une tâche de navigation en intérieur. Sur toutes les tâches, PI-ARS montre une efficacité d'apprentissage et des performances nettement meilleures que la référence ARS. Nous validons en outre notre algorithme en montrant que les politiques apprises peuvent être transférées avec succès à un robot quadrupède réel, atteignant par exemple un taux de réussite de 100 % dans l'environnement réel de pierres de gué, ce qui améliore considérablement les résultats antérieurs de 40 % de réussite.

Liens

• arXiv 2207.13224: https://arxiv.org/abs/2207.13224
• DOI 10.1109/IROS47612.2022.9981952: https://doi.org/10.1109/IROS47612.2022.9981952
• PDF: https://arxiv.org/pdf/2207.13224v1
• Page du projet: https://kuanghuei.github.io/piars