Inverse Reinforcement Learning

• Aussi appelé: IRL, inverse RL
• Catégorie: Learning & autonomy › Learning from demonstration
• Mots-clés: reward-learning, imitation-learning, reinforcement-learning, robot-learning, learning-from-demonstration

Apprendre la fonction de récompense qui explique le comportement démontré par un expert, afin de pouvoir ensuite entraîner une politique qui optimise cette récompense par apprentissage par renforcement ou par planification.

Définition

Apprentissage par renforcement inverse (inverse reinforcement learning, IRL) : méthode qui inverse le problème habituel de l'apprentissage par renforcement. Au lieu de recevoir une récompense et de devoir trouver une bonne politique, l'apprenant reçoit des démonstrations d'un bon comportement et doit trouver une fonction de récompense pour laquelle ce comportement est optimal ou proche de l'optimum. La récompense apprise sert ensuite à entraîner une politique, parfois dans des situations nouvelles ou sur un autre robot, en supposant que la récompense capture l'intention de la tâche mieux que les actions démontrées. Andrew Ng et Stuart Russell ont proposé en 2000 un premier traitement formel du problème.

Le problème est mal posé : de nombreuses fonctions de récompense expliquent le même comportement, y compris une récompense nulle partout. Les méthodes lèvent cette ambiguïté de différentes façons. L'apprenticeship learning fait correspondre les comptes de caractéristiques attendus de l'apprenant à ceux de l'expert. L'IRL à entropie maximale, introduit par Brian Ziebart et ses collègues en 2008, modélise l'expert comme choisissant des trajectoires avec une probabilité proportionnelle à l'exponentielle de leur récompense, ce qui donne une vraisemblance bien définie et tolère des démonstrations imparfaites. Les méthodes adverses entraînent un discriminateur à distinguer les données de l'expert de celles de la politique et utilisent sa sortie comme signal d'entraînement ; GAIL le fait sans renvoyer de récompense explicite, tandis qu'AIRL est conçu pour en retrouver une.

L'IRL classique alterne entre la mise à jour de la récompense et la résolution d'un problème complet d'apprentissage par renforcement sous cette récompense, ce qui est coûteux. Les systèmes robotiques pratiques utilisent donc souvent des schémas d'apprentissage de récompense plus simples, comme des récompenses fondées sur la similarité avec les images de démonstration ou des classifieurs entraînés sur des exemples de réussite, tout en conservant l'idée centrale de tirer le signal d'entraînement d'exemples. En automatique, le problème étroitement lié qui consiste à retrouver une fonction de coût à partir de trajectoires optimales observées s'appelle la commande optimale inverse (inverse optimal control).

Pourquoi c'est important

Écrire à la main des récompenses pour des tâches robotiques est lent et sujet aux erreurs, et les politiques exploitent le moindre écart entre la récompense et le comportement voulu. L'IRL obtient plutôt les récompenses à partir de démonstrations, qui peuvent se transposer à des conditions où copier les actions démontrées échouerait, et il relie l'apprentissage par imitation à l'apprentissage par renforcement.

Applications principales

• Apprendre des récompenses pour des tâches de manipulation à partir de démonstrations
• Modéliser le comportement des conducteurs et des piétons pour les véhicules autonomes
• Apprendre des cartes de coût de navigation à partir de chemins d'experts
• Inférer les préférences humaines en interaction humain-robot
• Fournir des récompenses d'entraînement pour l'apprentissage par renforcement sur des robots réels

En pratique

Une équipe veut qu'un bras robotique essuie une table comme le ferait une personne. Elle enregistre un ensemble de démonstrations téléopérées, puis entraîne un modèle de récompense en parallèle de la politique : un discriminateur apprend à noter les transitions d'état comme semblables ou non à celles de l'expert, et la politique est entraînée par apprentissage par renforcement en simulation pour maximiser cette note avant d'être affinée sur le robot. Pour empêcher la politique d'exploiter les défauts de la récompense apprise, l'équipe régularise le discriminateur, ajoute un petit terme écrit à la main pour l'achèvement de la tâche et examine les exécutions à l'œil. Plus tard, quand la tâche passe à une table de hauteur différente, la récompense apprise sert à noter les exécutions de la politique adaptée.

Idées reçues

• L'IRL est la même chose que le clonage comportemental — le clonage comportemental copie directement les actions, tandis que l'IRL retrouve une récompense puis entraîne une politique pour l'optimiser
• La récompense retrouvée est la vraie récompense — de nombreuses récompenses expliquent les mêmes démonstrations, et l'IRL en renvoie une qui s'ajuste aux données selon ses propres hypothèses
• L'IRL exige des démonstrations parfaites — les premières formulations supposaient des experts optimaux, mais l'entropie maximale et les méthodes ultérieures tolèrent des démonstrations bruitées ou sous-optimales

Qui devrait le savoir

• Chercheurs en apprentissage robotique
• Ingénieurs en apprentissage par renforcement qui conçoivent des fonctions de récompense
• Équipes de modélisation du comportement pour la conduite autonome
• Chercheurs en interaction humain-robot

Technologies associées

• IRL à entropie maximale (Maximum Entropy IRL)
• Apprentissage par imitation génératif adverse (Generative Adversarial Imitation Learning, GAIL)
• Apprentissage par renforcement inverse adverse (Adversarial Inverse Reinforcement Learning, AIRL)
• Commande optimale inverse (Inverse Optimal Control)
• Apprenticeship Learning

Termes associés

• Reinforcement Learning
• Imitation Learning
• Behavior Cloning
• DAgger
• Residual Reinforcement Learning

Projets associés

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Vidéos

• CS 285: Lecture 20, Inverse Reinforcement Learning, Part 1: RAIL
• Inverse Reinforcement Learning Explained: Edan Meyer