DAgger

• Aussi appelé: Dataset Aggregation
• Catégorie: Learning & autonomy › Learning from demonstration
• Mots-clés: imitation-learning, policy-distillation, covariate-shift, robot-learning, sim-to-real

Algorithme d'apprentissage par imitation qui exécute de manière répétée la propre politique de l'apprenant, fait étiqueter par un expert les états qu'elle atteint et réentraîne sur le jeu de données croissant pour éviter l'accumulation des erreurs.

Définition

DAgger, abréviation de Dataset Aggregation (agrégation de jeux de données), est un algorithme d'apprentissage par imitation introduit par Stéphane Ross, Geoffrey Gordon et J. Andrew Bagnell en 2011. Il s'attaque à la principale faiblesse du simple clonage comportemental. Une politique entraînée uniquement sur des démonstrations d'expert voit les états que l'expert a visités ; une fois déployée, de petites erreurs l'amènent dans des états que l'expert n'a jamais visités, où elle n'a pas de données d'entraînement et tend à commettre de plus grandes erreurs. Ce décalage entre les états d'entraînement et ceux du déploiement est appelé décalage de covariables (covariate shift), et les erreurs qui en résultent s'accumulent sur la durée d'une tâche.

DAgger corrige ce décalage en collectant des données sur la distribution d'états propre à l'apprenant. La boucle est simple : entraîner une politique initiale sur les données de l'expert ; exécuter cette politique, ou un mélange d'elle et de l'expert, pour visiter de nouveaux états ; demander à l'expert quelle action il aurait prise dans chaque état visité ; ajouter ces états étiquetés au jeu de données ; réentraîner sur l'ensemble du jeu de données agrégé ; et recommencer. L'article d'origine formule cela comme un problème d'apprentissage en ligne sans regret (no-regret) et montre que l'erreur de la politique croît à peu près linéairement avec la longueur de la tâche plutôt que quadratiquement, comme cela peut être le cas pour le clonage comportemental.

L'exigence pratique est un expert qui puisse être interrogé dans des états arbitraires. C'est facile quand l'expert est un planificateur, un contrôleur scripté ou une politique en simulation, et plus difficile quand c'est une personne, qui doit étiqueter des états qu'elle n'a pas choisis. Des variantes comme HG-DAgger ne laissent un humain prendre la main que lorsque l'apprenant se trompe. Dans l'apprentissage robotique actuel, DAgger est la méthode standard pour distiller une politique enseignante privilégiée, entraînée par apprentissage par renforcement sur l'état réel du simulateur, en une politique élève qui n'utilise que des capteurs embarqués comme des caméras.

Pourquoi c'est important

La plupart des politiques robotiques apprises sont entraînées à partir de démonstrations ou d'un enseignant plus fort, et l'écart entre les états vus à l'entraînement et ceux atteints au déploiement est une cause majeure d'échec. DAgger est la méthode bien comprise la plus simple pour combler cet écart, et elle sous-tend de nombreuses chaînes enseignant–élève utilisées pour transférer aux robots réels des compétences entraînées en simulation.

Applications principales

• Distillation de politiques de simulation privilégiées en politiques élèves fondées sur la vision
• Entraînement de contrôleurs de locomotion à pattes et de parkour pour le transfert sim-to-real
• Apprentissage de politiques de conduite et de navigation de drones à partir de planificateurs ou d'experts humains
• Apprentissage par imitation interactif où un humain corrige le robot pendant l'exécution
• Compression de plusieurs politiques de compétences spécialisées en une seule politique généraliste

En pratique

Une équipe qui entraîne un quadrupède à escalader et à sauter des obstacles entraîne d'abord en simulation, par apprentissage par renforcement, plusieurs politiques spécialisées, chacune ayant accès aux hauteurs exactes du terrain. Elle entraîne ensuite une seule politique fondée sur la vision qui ne voit qu'une caméra de profondeur et la proprioception. À chaque tour, la politique visuelle pilote le robot simulé ; à chaque pas, le spécialiste concerné est interrogé sur l'action qu'il prendrait, et la paire formée par l'observation et l'action du spécialiste est stockée. La politique visuelle est réentraînée sur toutes les données collectées jusque-là, et le cycle se répète jusqu'à ce qu'elle reproduise les spécialistes d'assez près. Comme c'est l'élève qui a généré les états, ses données d'entraînement contiennent les trébuchements et les vues de caméra inhabituelles qu'il rencontrera sur le robot réel.

Idées reçues

• DAgger, c'est du clonage comportemental avec plus de données — la différence clé est que les nouvelles données proviennent d'états que l'apprenant visite lui-même, et non de démonstrations d'expert supplémentaires
• DAgger a besoin d'un expert humain — tout expert capable d'étiqueter des états arbitraires convient, et en robotique c'est le plus souvent une politique enseignante simulée ou un planificateur
• L'expert doit piloter le robot pendant la collecte des données — dans DAgger, c'est généralement l'apprenant qui agit et l'expert ne fait qu'étiqueter, ce qui expose les propres erreurs de l'apprenant
• DAgger supprime le besoin d'un expert après le premier tour — l'expert doit être disponible pour étiqueter des états à chaque tour d'entraînement

Qui devrait le savoir

• Chercheurs en apprentissage robotique qui utilisent l'apprentissage par imitation
• Ingénieurs qui construisent des chaînes enseignant–élève sim-to-real
• Développeurs de locomotion à pattes et d'autonomie de drones
• Étudiants qui étudient l'apprentissage par imitation et l'apprentissage par renforcement

Technologies associées

• Clonage comportemental (Behavior Cloning)
• HG-DAgger
• Distillation de politique (Policy Distillation)
• Isaac Gym
• Apprentissage par renforcement (Reinforcement Learning)

Termes associés

• Imitation Learning
• Behavior Cloning
• Teacher-Student Training
• Reinforcement Learning
• Sim2Real

Projets associés

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
• Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.