Reward Shaping
- Catégorie: Learning & autonomy › RL & simulation
- Mots-clés: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation
Ajout de termes supplémentaires à la récompense d'apprentissage par renforcement pour que l'agent reçoive un retour utile avant d'atteindre le but pour la première fois, idéalement sans changer quel comportement est optimal.
Définition
Le façonnage de récompense (reward shaping) modifie la fonction de récompense d'un problème d'apprentissage par renforcement pour faciliter l'apprentissage. Beaucoup de tâches robotiques ont une récompense naturelle éparse : l'agent ne reçoit un signal que lorsque le tiroir est ouvert ou que la cheville est insérée. Avec une exploration aléatoire, un robot peut n'atteindre presque jamais cet état et ne recevoir donc presque aucun signal d'apprentissage. Le façonnage ajoute des termes intermédiaires, comme l'opposé de la distance entre la pince et la poignée, un bonus pour une saisie stable ou la progression dans une séquence de sous-buts, afin que l'agent reçoive un retour bien avant son premier succès.
Le risque est que la récompense façonnée modifie la tâche. Un robot récompensé pour la proximité de la pince peut apprendre à planer près de la poignée sans la tirer, et une récompense pour la vitesse vers l'avant peut produire des allures qui exploitent des défauts du simulateur. Ng, Harada et Russell (1999) ont montré que des termes de façonnage d'une forme précise, F(s, s′) = γΦ(s′) − Φ(s) pour une fonction potentielle Φ définie sur les états, laissent inchangées les politiques optimales du problème d'origine. C'est ce qu'on appelle le façonnage de récompense fondé sur un potentiel. Comme toute récompense collectée en parcourant un cycle d'états a une somme nulle avec de tels termes, l'agent ne peut pas tirer profit de boucles qui ne font pas avancer la tâche. Les termes qui n'ont pas cette forme peuvent modifier la politique optimale. C'est parfois voulu, lorsque les termes supplémentaires expriment de vraies préférences comme un mouvement fluide ou une faible consommation d'énergie, mais ce doit être un choix délibéré.
Dans la pratique de la robotique, les récompenses pour la locomotion et la manipulation combinent souvent de nombreux termes pondérés, et le réglage de leurs poids représente une grande part de l'effort d'ingénierie. Parmi les compléments et alternatives figurent l'apprentissage par curriculum, le réétiquetage rétrospectif des buts, l'apprentissage à partir de démonstrations, l'apprentissage par renforcement inverse et les récompenses calculées à partir de représentations visuelles apprises, par exemple une estimation de la progression vers une image de sous-but. Ces approches réduisent la conception manuelle des récompenses mais apportent leurs propres modes de défaillance.
Pourquoi c'est important
Le fait qu'une tâche d'apprentissage robotique converge ou non dépend souvent de sa récompense. Le façonnage est ce qui rend entraînables la plupart des politiques de locomotion et de manipulation en simulation, et des récompenses mal façonnées sont une cause fréquente de politiques qui obtiennent de bons scores à l'entraînement sans pour autant accomplir la tâche voulue.
Applications principales
- Entraînement de politiques de manipulation quand le succès de la tâche est épars
- Récompenses de locomotion à pattes combinant suivi de vitesse, posture et termes d'énergie
- Tâches à long horizon découpées en sous-buts avec des récompenses de progression
- Navigation avec des termes de distance au but
- Manipulation dextre dans la main entraînée en simulation
En pratique
Une équipe entraîne en simulation une politique qui ouvre le tiroir d'un meuble. Avec une récompense donnée seulement quand le tiroir est ouvert, l'entraînement ne progresse pas. Elle ajoute un terme égal à l'opposé de la distance entre la pince et la poignée, un bonus à chaque saisie de la poignée et un terme proportionnel à l'ouverture du tiroir. La politique apprend vite à atteindre et à saisir, puis stagne, car lâcher et ressaisir la poignée rapporte encore et encore le bonus de saisie. L'équipe remplace le bonus par un terme fondé sur un potentiel, la variation d'un pas à l'autre d'un potentiel qui augmente à mesure que le tiroir s'ouvre et que la pince approche de la poignée, de sorte que faire des cycles entre états ne rapporte rien au total, et ajoute une petite pénalité sur la vitesse articulaire pour un mouvement plus fluide. Elle juge la politique finale sur le critère de succès épars, et non sur le retour façonné.
Idées reçues
- Tout terme de récompense ajouté est sans danger s'il pointe vers le but — les termes qui ne sont pas fondés sur un potentiel peuvent modifier la politique optimale et favoriser le détournement de récompense (reward hacking)
- Un retour façonné plus élevé signifie une meilleure politique — seule la performance sur l'objectif réel de la tâche montre si la politique fait ce qui était voulu
- Le façonnage fondé sur un potentiel accélère toujours l'apprentissage — il préserve les politiques optimales, mais un potentiel mal choisi peut tout de même ralentir l'exploration
- Le façonnage de récompense et l'apprentissage par curriculum sont la même chose — le façonnage modifie la récompense, tandis qu'un curriculum modifie l'ordre ou la difficulté des tâches et des environnements
Qui devrait le savoir
- Ingénieurs en apprentissage par renforcement qui entraînent des politiques de robots
- Chercheurs en locomotion et en manipulation travaillant en simulation
- Ingénieurs en simulation qui mettent en place des environnements d'entraînement
- Étudiants qui apprennent l'apprentissage par renforcement pour la robotique
Technologies associées
- Façonnage de récompense fondé sur un potentiel (Potential-Based Reward Shaping)
- Récompenses éparses (Sparse Rewards)
- Hindsight Experience Replay
- Apprentissage par curriculum (Curriculum Learning)
- Apprentissage par renforcement inverse (Inverse Reinforcement Learning)
- Modèles de récompense appris (Learned Reward Models)
Termes associés
- Reinforcement Learning
- Markov Decision Process (MDP)
- Curriculum Learning
- Hindsight Experience Replay (HER)
- Inverse Reinforcement Learning
Projets associés
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Vidéos
- Reward Shaping: Udacity