Teacher-Student Training

Aussi appelé: privileged learning, learning by cheating, teacher-student distillation, privileged teacher
Catégorie: Learning & autonomy › RL & simulation
Mots-clés: reinforcement-learning, sim-to-real, policy-distillation, robot-learning, locomotion

Un schéma d'entraînement dans lequel une politique enseignante disposant d'informations privilégiées, comme l'état réel du simulateur, est distillée en une politique élève qui n'utilise que les capteurs disponibles sur le robot réel.

Définition

Entraînement enseignant-élève (teacher-student training) : approche en deux étapes de l'apprentissage robotique, utilisée surtout en simulation, qui sépare l'apprentissage de ce qu'il faut faire de l'apprentissage de la façon de l'inférer à partir de capteurs réalistes. Dans la première étape, une politique enseignante est entraînée, généralement par apprentissage par renforcement, en recevant des informations privilégiées dont un robot réel ne disposerait pas : hauteurs exactes du terrain, coefficients de frottement, poses des objets, états de contact ou état complet du simulateur. Avec ces informations, la tâche est beaucoup plus facile à apprendre.

Dans la seconde étape, une politique élève est entraînée à reproduire le comportement de l'enseignant en n'utilisant que des observations disponibles sur le matériel, comme les codeurs articulaires, une IMU, des images de caméra ou un court historique d'observations passées. Comme l'enseignant peut être interrogé dans n'importe quel état, l'élève est entraîné par apprentissage supervisé, souvent avec une collecte de données à la manière de DAgger, dans laquelle l'élève pilote la simulation et l'enseignant fournit l'action correcte dans chaque état visité. L'élève utilise souvent un réseau récurrent ou un encodeur d'historique afin de pouvoir inférer des grandeurs cachées, comme le frottement du sol, à partir de la façon dont le robot s'est déplacé.

L'approche est étroitement liée aux méthodes acteur-critique asymétriques (asymmetric actor-critic), où seul le critique voit l'état privilégié, et à la distillation de politiques en général. En conduite autonome, elle a été présentée sous le nom de « learning by cheating » par Chen et al. en 2019, et elle s'est largement répandue en locomotion à pattes après que Lee et al. ont entraîné en 2020 des contrôleurs de quadrupèdes de cette manière et les ont déployés sur des terrains naturels accidentés.

La principale limite est que l'élève ne peut être meilleur que l'information que portent ses capteurs : si l'enseignant s'appuie sur quelque chose que l'élève ne peut pas inférer, l'élève restera en deçà.

Pourquoi c'est important

Apprendre directement à partir de données capteurs bruitées et partielles par apprentissage par renforcement est lent et instable. L'entraînement enseignant-élève permet de résoudre d'abord le problème de commande difficile avec une information complète, puis de transférer cette compétence à une politique capable de tourner sur un robot réel, ce qui en a fait un élément standard des chaînes sim-to-real pour les robots à pattes et les mains dextres.

Applications principales

Locomotion à pattes sur terrain accidenté utilisant principalement la proprioception
Manipulation dextre dans la main avec des politiques d'abord entraînées sur l'état complet de l'objet
Politiques de navigation et de conduite fondées sur la vision, distillées à partir d'experts fondés sur l'état
Transfert sim-to-real lorsque des paramètres physiques clés ne peuvent pas être mesurés sur le matériel

En pratique

Une équipe qui entraîne un contrôleur de quadrupède dans un simulateur GPU comme Isaac Lab entraîne d'abord un enseignant avec PPO, en lui fournissant la proprioception ainsi que des échantillons de terrain privilégiés et des informations de contact, avec une randomisation de domaine sur le frottement et la charge utile. Une fois l'enseignant fiable, elle entraîne un élève qui ne reçoit que l'historique proprioceptif, parfois avec une carte de hauteur ou une entrée de profondeur bruitées, pour reproduire les actions ou les caractéristiques latentes de l'enseignant. Les données d'entraînement proviennent du déroulement de l'élève dans de nombreux environnements parallèles, chaque état visité étant étiqueté avec la sortie de l'enseignant. L'élève est ensuite déployé sur le robot réel, et les ingénieurs le testent dans les situations où l'information cachée compte le plus, comme les sols glissants ou les obstacles que le robot ne peut pas voir.

Idées reçues

L'élève a besoin de données d'entraînement du monde réel — les deux étapes sont normalement entraînées entièrement en simulation, et l'élève est déployé en zero-shot
L'élève se contente de copier l'enseignant — il doit inférer l'information cachée à partir de son propre historique de capteurs, et c'est là la partie difficile
L'entraînement enseignant-élève remplace l'apprentissage par renforcement — l'enseignant est généralement entraîné par RL ; seule l'étape de l'élève est une distillation supervisée

Qui devrait le savoir

Chercheurs en apprentissage robotique travaillant sur le transfert sim-to-real
Ingénieurs en commande de la locomotion à pattes
Chercheurs en manipulation dextre
Praticiens de l'apprentissage par renforcement qui déploient des politiques sur du matériel

Technologies associées

Isaac Lab
DAgger
Acteur-critique asymétrique (Asymmetric Actor-Critic)
Distillation de politiques (Policy Distillation)
Proximal Policy Optimization (PPO)
MuJoCo

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim