Meta-Reinforcement Learning
- Aussi appelé: meta-RL
- Catégorie: Learning & autonomy › RL & simulation
- Mots-clés: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning
Apprentissage par renforcement qui s'entraîne sur de nombreuses tâches apparentées afin que l'agent apprenne à s'adapter et puisse résoudre une nouvelle tâche de la même famille avec peu d'expérience.
Définition
Le méta-apprentissage par renforcement (meta-reinforcement learning, meta-RL) traite l'apprentissage lui-même comme ce qu'il faut apprendre. Au lieu d'entraîner une politique pour une seule tâche, l'agent est entraîné sur une distribution de tâches apparentées, par exemple atteindre différentes cibles, pousser des objets de masses différentes ou ouvrir différentes portes. Le but est que, face à une nouvelle tâche tirée de la même distribution, il puisse s'adapter avec peu d'expérience nouvelle, souvent quelques épisodes, au lieu d'apprendre à partir de zéro. L'entraînement se divise en une boucle interne, qui s'adapte à une tâche, et une boucle externe, qui améliore la procédure d'adaptation sur l'ensemble des tâches.
Trois familles de méthodes sont courantes. Les méthodes à base de gradient, comme model-agnostic meta-learning (MAML, Finn, Abbeel et Levine, 2017), apprennent des poids initiaux du réseau à partir desquels quelques pas de gradient sur la nouvelle tâche donnent une bonne politique. Les méthodes récurrentes ou à base de contexte, comme RL² (Duan et al., 2016), fournissent l'historique des états, actions et récompenses à un réseau récurrent ou à un autre modèle de séquence dont l'état caché porte ce qu'il a appris sur la tâche courante, de sorte que l'adaptation se fait sans mise à jour par gradient. Les méthodes d'inférence de tâche latente, comme PEARL (Rakelly et al., 2019), apprennent un encodeur qui infère une variable de tâche probabiliste à partir de l'expérience et conditionnent la politique sur celle-ci, ce qui permet aussi un entraînement off-policy.
Le meta-RL est étroitement lié à la prise de décision partiellement observable : la tâche inconnue peut être vue comme une partie cachée de l'état que l'agent doit inférer en agissant. Il diffère de l'apprentissage par renforcement multitâche, qui entraîne une seule politique à bien exécuter un ensemble connu et fixe de tâches, généralement avec l'identité de la tâche fournie, et ne mesure pas l'adaptation à des tâches inédites. Des benchmarks comme Meta-World testent les deux cadres sur le même ensemble de tâches de manipulation. Les résultats dépendent fortement de l'étendue de la distribution des tâches d'entraînement : le meta-RL tend à bien s'adapter aux variantes des tâches d'entraînement et mal aux tâches structurellement différentes.
Pourquoi c'est important
Les robots rencontrent sans cesse de la variation : objets différents, charges utiles, terrains et usure. Le meta-RL est l'une des principales approches pour que des contrôleurs appris s'adaptent rapidement à de tels changements au lieu d'être réentraînés à partir de zéro, et les mêmes idées sous-tendent les modules d'adaptation en ligne utilisés en locomotion sim-to-real.
Applications principales
- Adaptation rapide de compétences de manipulation à de nouveaux buts et objets
- Adaptation de contrôleurs de locomotion à des changements de charge utile, de terrain ou à des dommages
- Adaptation en ligne de modèles dynamiques appris en commande fondée sur un modèle
- Évaluation de la généralisation avec des familles de tâches comme Meta-World
- Imitation et adaptation few-shot à partir de petites quantités de données robotiques
En pratique
Une équipe de recherche veut un bras robotique capable d'apprendre une nouvelle compétence de manipulation à partir d'une poignée d'essais. En simulation, elle construit une famille de tâches avec des positions d'objets et des buts randomisés sur plusieurs types de tâches, et entraîne un agent de meta-RL à base de contexte qui se conditionne sur une variable de tâche latente inférée à partir des transitions récentes. Au moment du test, sur un but mis de côté, le robot collecte quelques épisodes exploratoires, l'encodeur met à jour son estimation de la tâche et la politique s'améliore sans aucune mise à jour par gradient. L'équipe rapporte le succès séparément sur des variantes mises de côté des tâches d'entraînement et sur des types de tâches entièrement nouveaux, car la performance sur ces derniers est généralement bien plus faible.
Idées reçues
- Le meta-RL apprend une politique capable de tout faire — il s'adapte aux tâches de la distribution d'entraînement et généralise généralement mal aux tâches de structure différente
- Le meta-RL et le RL multitâche sont la même chose — le RL multitâche optimise la performance sur un ensemble connu de tâches, tandis que le meta-RL optimise la vitesse d'adaptation à de nouvelles tâches
- S'adapter signifie toujours affiner des poids — les méthodes à base de contexte s'adaptent uniquement en mettant à jour un état caché ou une variable latente, sans pas de gradient au moment du test
Qui devrait le savoir
- Chercheurs en apprentissage robotique travaillant sur la généralisation et l'adaptation
- Praticiens de l'apprentissage par renforcement qui conçoivent des distributions de tâches
- Ingénieurs qui construisent des contrôleurs adaptatifs de locomotion et de manipulation
- Étudiants de master et doctorants en apprentissage automatique pour la robotique
Technologies associées
- Model-Agnostic Meta-Learning (MAML)
- RL²
- PEARL
- Meta-World
- Réseaux de neurones récurrents (Recurrent Neural Networks)
Termes associés
- Multi-Task Reinforcement Learning
- Reinforcement Learning
- Partially Observable Markov Decision Process (POMDP)
- Lifelong Robot Learning
- Domain Randomization
- Teacher-Student Training
Projets associés
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
Vidéos
- Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing