Curriculum Learning

• Aussi appelé: curriculum training, task curriculum
• Catégorie: Learning & autonomy › RL & simulation
• Mots-clés: reinforcement-learning, robot-learning, training, simulation, locomotion

Une stratégie d'entraînement qui donne d'abord à un système apprenant des tâches ou des exemples plus faciles et augmente progressivement la difficulté, afin qu'il maîtrise des compétences trop difficiles à apprendre à partir de zéro.

Définition

Apprentissage par curriculum (curriculum learning) : pratique consistant à ordonner l'expérience d'entraînement du plus facile au plus difficile au lieu de la présenter d'un seul coup. L'idée reflète la façon dont on enseigne aux personnes : un élève apprend l'arithmétique avant l'analyse. En apprentissage automatique, elle a été formalisée par Bengio et al. en 2009, qui ont montré qu'un ordre bien choisi des exemples peut accélérer l'entraînement et améliorer le résultat final.

En robotique, les curriculums sont surtout courants en apprentissage par renforcement, où un agent qui commence par une tâche très au-delà de ses capacités risque de ne jamais recevoir de signal de récompense utile. Un curriculum maintient l'agent à la limite de sa compétence. La difficulté peut être augmentée selon de nombreux axes : rugosité et pente du terrain pour un robot à pattes, hauteur des marches pour la montée d'escaliers, distance au but pour la navigation, variété des objets pour la préhension, intensité des poussées extérieures, ou rareté de la récompense.

Les curriculums peuvent être conçus à la main, avec des étapes fixes et des seuils de passage, ou automatiques. Les curriculums automatiques ajustent la difficulté selon les performances de l'agent, par exemple en promouvant un robot simulé vers un terrain plus difficile quand il réussit et en le rétrogradant quand il échoue. Parmi les idées voisines figurent la génération automatique de buts, où le système d'entraînement propose des buts de difficulté adaptée, et le self-play, où des adversaires progressent ensemble.

Un curriculum ajoute des choix de conception qui peuvent mal tourner. Si la difficulté augmente trop vite, l'apprentissage stagne ; trop lentement, le calcul est gaspillé. Un curriculum qui n'atteint jamais toute la gamme des conditions rencontrées en déploiement peut laisser la politique mal préparée à celles-ci.

Pourquoi c'est important

De nombreuses compétences robotiques, comme grimper, sauter ou marcher sur un sol accidenté, ne peuvent pas être apprises par essais et erreurs à partir de zéro, car un comportement aléatoire ne réussit presque jamais. L'apprentissage par curriculum rend ces compétences apprenables en les construisant par étapes, et c'est un ingrédient standard des contrôleurs de locomotion entraînés en simulation.

Applications principales

• Entraînement de la locomotion à pattes sur des terrains de plus en plus difficiles
• Apprentissage de l'escalade et de la montée d'escaliers
• Tâches de navigation avec une distance au but ou un encombrement croissants
• Tâches de manipulation avec une variété d'objets ou des exigences de précision croissantes

En pratique

Dans l'entraînement de la locomotion sur GPU, une configuration courante est un curriculum de terrain : des milliers de robots simulés sont répartis sur une grille de tuiles de terrain classées par difficulté, comme des pentes, des escaliers et des zones accidentées de hauteur croissante. Chaque robot commence sur des tuiles faciles ; s'il parcourt une distance suffisante au cours d'un épisode, il passe à des tuiles plus difficiles, et s'il échoue, il revient en arrière. Les équipes font souvent tourner des curriculums parallèles sur la vitesse commandée et l'intensité des perturbations, et enregistrent la répartition des robots entre les niveaux de difficulté comme mesure directe de la progression de l'entraînement. Avant le déploiement, elles évaluent la politique finale aux niveaux les plus difficiles et dans des conditions hors du curriculum, pour vérifier qu'elle n'a pas été ajustée uniquement à l'échelle d'entraînement.

Idées reçues

• Un curriculum aide toujours — un curriculum mal conçu peut ralentir l'entraînement ou biaiser la politique vers les conditions qu'il a privilégiées
• Les curriculums doivent être conçus à la main — de nombreux systèmes ajustent la difficulté automatiquement à partir des performances mesurées de l'agent
• L'apprentissage par curriculum ne concerne que l'apprentissage par renforcement — il a d'abord été formalisé pour l'apprentissage supervisé et s'y applique aussi

Qui devrait le savoir

• Praticiens de l'apprentissage par renforcement
• Ingénieurs en commande de robots à pattes
• Concepteurs de simulations et d'environnements d'entraînement
• Étudiants en apprentissage automatique travaillant sur l'apprentissage robotique

Technologies associées

• Apprentissage par renforcement (Reinforcement Learning)
• Isaac Lab
• Randomisation de domaine (Domain Randomization)
• Façonnage de récompense (Reward Shaping)
• Apprentissage par curriculum automatique (Automatic Curriculum Learning)
• Self-play (Self-Play)

Termes associés

• Reinforcement Learning
• Domain Randomization
• Teacher-Student Training

Projets associés

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware

Vidéos

• Curriculum Learning in Deep Neural Networks: Connor Shorten
• Teacher-Student Curriculum Learning: Connor Shorten