Offline Reinforcement Learning

Aussi appelé: batch reinforcement learning, batch RL, offline RL
Catégorie: Learning & autonomy › RL & simulation
Mots-clés: reinforcement-learning, offline-learning, datasets, distribution-shift, robot-learning

Apprentissage par renforcement à partir d'un jeu de données de transitions fixe et collecté au préalable, sans aucune autre interaction avec l'environnement pendant l'entraînement.

Définition

L'apprentissage par renforcement hors ligne (offline reinforcement learning) apprend une politique entièrement à partir d'un jeu de données statique d'états, d'actions, de récompenses et d'états suivants, collecté au préalable par des personnes, des contrôleurs scriptés ou des politiques antérieures. Contrairement au RL en ligne classique, l'agent ne peut pas essayer de nouvelles actions et en observer le résultat pendant l'entraînement. Ce cadre est attrayant pour la robotique, où l'interaction avec le monde réel est lente, coûteuse et parfois dangereuse, et où de grands journaux de données robotiques existent peut-être déjà. Contrairement à l'apprentissage par imitation, le RL hors ligne utilise les récompenses présentes dans les données, si bien qu'en principe il peut apprendre une politique meilleure que le comportement qui a généré les données, par exemple en combinant les bonnes parties de différentes trajectoires.

La difficulté centrale est le décalage de distribution (distributional shift) entre la politique apprise et les données. Les méthodes fondées sur la valeur estiment Q(s, a) par bootstrapping à partir de la valeur de l'action suivante que choisirait la politique apprise. Si cette action est rare ou absente du jeu de données, son estimation de valeur n'est pas contrainte, et la maximisation tend à choisir précisément les actions dont les valeurs sont à tort élevées. Le RL en ligne corrige ces erreurs en essayant les actions ; le RL hors ligne ne le peut pas. Les méthodes hors ligne restent donc proches des données de l'une de plusieurs façons : en contraignant la politique vers la politique de comportement (comme BCQ, Fujimoto et al., 2019), en pénalisant les valeurs des actions non vues (comme conservative Q-learning, Kumar et al., 2020), en évitant entièrement d'interroger des actions hors distribution (comme implicit Q-learning, Kostrikov et al., 2021), ou en ajoutant un terme de clonage comportemental à une perte acteur-critique off-policy.

Les résultats dépendent fortement du jeu de données : sa couverture des états et des actions, la qualité du comportement qui l'a produit, et la disponibilité des récompenses ou la nécessité de les étiqueter après coup. Un flux de travail courant est un pré-entraînement hors ligne suivi d'une quantité limitée d'affinage en ligne. Le RL hors ligne est apparenté au RL off-policy, mais distinct : les algorithmes off-policy apprennent à partir de données générées par d'autres politiques mais continuent normalement à collecter de nouvelles données, et ils donnent souvent de mauvais résultats lorsque cette collecte s'arrête.

Pourquoi c'est important

La plupart des robots ne peuvent pas se permettre des millions d'épisodes d'essais et d'erreurs sur le matériel, mais de nombreuses équipes disposent de journaux de téléopération, d'exécutions scriptées et d'expériences antérieures. Le RL hors ligne est la famille de méthodes conçues pour transformer ces données en politiques de façon sûre, et il explique pourquoi exécuter simplement un algorithme off-policy standard sur un jeu de données fixe échoue souvent.

Applications principales

Apprentissage de politiques de manipulation à partir de données de téléopération et de données scriptées enregistrées
Pré-entraînement de politiques robotiques avant un affinage en ligne limité
Amélioration par rapport à des démonstrations sous-optimales grâce à des étiquettes de récompense
Apprentissage à partir de données dans des cadres où l'exploration est dangereuse, comme la conduite
Réutilisation des données d'expériences antérieures au lieu de les jeter

En pratique

Une équipe d'entrepôt dispose de mois de tentatives de préhension enregistrées par un système de saisie scripté, chacune étiquetée comme succès ou échec. Plutôt que de lancer de nouveaux essais, elle entraîne sur ces journaux un agent conservative Q-learning, avec l'image et l'état de la pince en entrée. Avant le déploiement, elle compare les saisies choisies par la politique apprise à la distribution des données et l'évalue sur un petit ensemble d'objets mis de côté dans une cellule de test supervisée. Elle autorise ensuite une courte période d'affinage en ligne avec une personne capable d'arrêter le robot, ce qui corrige les erreurs restantes dans les situations rarement vues.

Idées reçues

Le RL hors ligne n'est que du clonage comportemental sur un jeu de données — il utilise les récompenses et peut faire mieux que les données, alors que le clonage comportemental copie les actions qu'elles contiennent
N'importe quel algorithme off-policy fonctionne hors ligne — sans données fraîches, les méthodes off-policy standard surestiment la valeur des actions non vues et s'effondrent souvent
Plus de données donnent toujours une meilleure politique hors ligne — la couverture et la qualité comptent ; un grand jeu de données de comportements quasi identiques laisse peu de marge d'amélioration
Le RL hors ligne ne nécessite aucune évaluation sur le système réel — les estimations hors ligne de la performance d'une politique ne sont pas fiables, des tests réels ou soigneusement simulés restent donc nécessaires

Qui devrait le savoir

Chercheurs en apprentissage robotique travaillant avec de grands jeux de données enregistrés
Ingénieurs disposant de flottes qui produisent des données d'exploitation
Praticiens de l'apprentissage par renforcement qui passent de la simulation au matériel
Équipes de ML en conduite autonome et en manipulation

Technologies associées

Conservative Q-Learning (CQL)
Implicit Q-Learning (IQL)
Batch-Constrained Q-Learning (BCQ)
D4RL
Decision Transformer

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Vidéos

Offline Reinforcement Learning: RAIL
NeurIPS 2020 Tutorial on Offline RL: Part 1: RAIL