Hindsight Experience Replay (HER)
- Aussi appelé: HER
- Catégorie: Learning & autonomy › RL & simulation
- Mots-clés: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation
Une technique d'apprentissage par renforcement conditionné par le but qui réétiquette les épisodes échoués avec les buts que l'agent a réellement atteints, transformant les échecs à récompense éparse en données d'entraînement utiles.
Définition
Hindsight Experience Replay (HER) traite un problème courant en apprentissage robotique : avec une récompense éparse, accordée seulement lorsqu'un but est atteint, un robot qui agit au hasard ne réussit presque jamais et ne reçoit donc aucun signal d'apprentissage. Présenté par Andrychowicz et al. en 2017, HER réutilise chaque épisode échoué en faisant comme si, après coup, le but avait été ce que l'agent a réellement atteint. Un épisode qui visait à pousser un bloc jusqu'au point A mais l'a laissé au point B devient un exemple réussi de poussée du bloc jusqu'au point B.
La méthode fonctionne avec des politiques et des fonctions de valeur conditionnées par le but (goal-conditioned), qui prennent en entrée à la fois l'état et le but souhaité, et avec des algorithmes off-policy comme DDPG, TD3 ou SAC qui apprennent à partir d'un replay buffer. Chaque transition stockée est copiée avec un but substitué et une récompense recalculée pour ce but. Plusieurs stratégies choisissent le but de substitution : l'état final de l'épisode, un état aléatoire du même épisode ou, le plus souvent, un état atteint plus tard dans le même épisode (la stratégie « future »). Comme la récompense doit être recalculée pour n'importe quel but, HER exige une fonction de récompense évaluable pour des buts arbitraires, généralement le fait que le but atteint se trouve ou non à une tolérance près du but souhaité.
HER agit comme un curriculum implicite : au début, les buts réétiquetés sont des buts faciles, proches de l'endroit où le robot aboutit déjà, et à mesure que la politique s'améliore, les buts qu'elle atteint se dispersent jusqu'à couvrir l'espace. Il n'aide pas lorsque le but ne peut pas être lu dans l'état atteint, lorsque les récompenses dépendent de plus que le résultat final, ni avec les algorithmes on-policy qui ne peuvent pas réutiliser d'anciennes données. Le réétiquetage biaise aussi la distribution des buts dans le buffer, ce que des travaux ultérieurs ont examiné et corrigé de diverses manières.
Pourquoi c'est important
Les récompenses de succès éparses sont la façon la plus naturelle de spécifier de nombreuses tâches de manipulation, mais il est très difficile d'apprendre directement à partir d'elles. HER a rendu praticable l'entraînement de politiques de poussée, de glissement et de pick-and-place à partir de récompenses binaires, sans termes de récompense façonnés à la main, et le réétiquetage des buts est depuis devenu un outil standard de l'apprentissage conditionné par le but.
Applications principales
- Poussée, glissement et pick-and-place à récompense éparse avec des bras robotiques
- Entraînement de politiques conditionnées par le but qui atteignent des positions cibles arbitraires
- Apprentissage de la navigation vers des lieux cibles à partir de récompenses de succès uniquement
- Réétiquetage de démonstrations ou de données de jeu avec les buts qu'elles ont réellement atteints
- Benchmarks multi-buts pour l'apprentissage par renforcement off-policy
En pratique
Un ingénieur entraîne un bras simulé à poser un bloc à des positions cibles choisies au hasard, avec une récompense de 0 en cas de succès et de -1 sinon. Sans HER, SAC progresse à peine, car le bloc atterrit rarement sur la cible par hasard. Avec HER, chaque transition est aussi stockée avec des buts tirés des positions du bloc atteintes plus tard dans cet épisode, et la récompense est recalculée comme un succès si le bloc se trouve à quelques centimètres du but substitué. L'ingénieur vérifie que l'observation sépare clairement le but atteint (la position du bloc) du but souhaité, afin que le code de réétiquetage puisse échanger l'un contre l'autre.
Idées reçues
- HER fonctionne avec n'importe quel algorithme d'apprentissage par renforcement — il repose sur la réutilisation de transitions stockées, il convient donc aux méthodes off-policy comme DDPG, TD3 et SAC, pas aux méthodes on-policy comme PPO
- HER supprime tout besoin de conception de récompense — il faut toujours une récompense calculable pour n'importe quel but et une définition claire de la partie de l'état qui compte comme but atteint
- Les données réétiquetées sont non biaisées — substituer des buts atteints modifie la distribution des buts et des résultats dans le buffer, ce qui peut biaiser les estimations de valeur
Qui devrait le savoir
- Praticiens de l'apprentissage par renforcement travaillant sur la manipulation
- Chercheurs en apprentissage robotique utilisant des récompenses éparses ou binaires
- Ingénieurs qui construisent des politiques conditionnées par le but
- Étudiants qui implémentent des algorithmes d'apprentissage off-policy
Technologies associées
- Deep Deterministic Policy Gradient (DDPG)
- Twin Delayed DDPG (TD3)
- Tampon de rejeu (Replay Buffer)
- Universal Value Function Approximators
- Gymnasium-Robotics
Termes associés
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Markov Decision Process (MDP)
- Curriculum Learning
- Play Data
Projets associés
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
Vidéos
- Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers