Teacher-Student Training

• Detto anche: privileged learning, learning by cheating, teacher-student distillation, privileged teacher
• Categoria: Learning & autonomy › RL & simulation
• Tag: reinforcement-learning, sim-to-real, policy-distillation, robot-learning, locomotion

Uno schema di addestramento in cui una policy teacher con informazioni privilegiate, come il vero stato del simulatore, viene distillata in una policy student che usa solo i sensori disponibili sul robot reale.

Definizione

Addestramento teacher-student (teacher-student training) è un approccio in due fasi al robot learning, usato soprattutto in simulazione, che separa l'imparare che cosa fare dall'imparare a dedurlo da sensori realistici. Nella prima fase si addestra una policy teacher, di solito con l'apprendimento per rinforzo, fornendole informazioni privilegiate che un robot reale non avrebbe: altezze esatte del terreno, coefficienti di attrito, pose degli oggetti, stati di contatto o lo stato completo del simulatore. Con queste informazioni il task è molto più facile da apprendere.

Nella seconda fase si addestra una policy student a riprodurre il comportamento del teacher usando solo osservazioni disponibili sull'hardware, come gli encoder dei giunti, un'unità di misura inerziale (IMU), immagini delle fotocamere o una breve cronologia di osservazioni passate. Poiché il teacher può essere interrogato in qualsiasi stato, lo student viene addestrato con apprendimento supervisionato, spesso con una raccolta dati in stile DAgger in cui è lo student a guidare la simulazione e il teacher fornisce l'azione corretta in ogni stato visitato. Lo student usa spesso una rete ricorrente o un encoder della cronologia per poter dedurre grandezze nascoste, come l'attrito del terreno, dal modo in cui il robot si è mosso.

L'approccio è strettamente legato ai metodi actor-critic asimmetrici, in cui solo il critic vede lo stato privilegiato, e alla distillazione della policy in generale. Nella guida autonoma è stato presentato come «learning by cheating» da Chen et al. nel 2019, e si è diffuso ampiamente nella locomozione con gambe dopo che Lee et al. nel 2020 hanno addestrato in questo modo controllori per quadrupedi e li hanno impiegati su terreno naturale accidentato.

Il limite principale è che lo student può essere valido solo quanto l'informazione che i suoi sensori trasportano: se il teacher si basa su qualcosa che lo student non può dedurre, lo student resterà indietro.

Perché è importante

Apprendere direttamente da dati di sensori rumorosi e parziali con l'apprendimento per rinforzo è lento e instabile. L'addestramento teacher-student permette di risolvere prima il difficile problema di controllo con informazioni complete e poi di trasferire quell'abilità a una policy che può girare su un robot reale, il che lo ha reso una parte standard delle pipeline sim-to-real per robot con gambe e mani destre.

Applicazioni principali

• Locomozione con gambe su terreno accidentato usando principalmente la propriocezione
• Manipolazione fine in mano con policy addestrate prima sullo stato completo dell'oggetto
• Policy di navigazione e guida basate sulla visione distillate da esperti basati sullo stato
• Trasferimento sim-to-real quando parametri fisici chiave non si possono misurare sull'hardware

In pratica

Un team che addestra un controllore per quadrupede in un simulatore su GPU come Isaac Lab addestra prima un teacher con PPO, fornendogli la propriocezione più campioni privilegiati del terreno e informazioni di contatto, con domain randomization su attrito e carico utile. Una volta che il teacher è affidabile, addestra uno student che riceve solo la cronologia propriocettiva, a volte con un ingresso rumoroso di mappa delle altezze o di profondità, perché riproduca le azioni o le feature latenti del teacher. I dati di addestramento si ottengono eseguendo lo student in molti ambienti paralleli ed etichettando ogni stato visitato con l'uscita del teacher. Lo student viene poi impiegato sul robot reale, e gli ingegneri lo provano nelle situazioni in cui l'informazione nascosta conta di più, come pavimenti scivolosi od ostacoli che il robot non può vedere.

Idee sbagliate comuni

• Lo student ha bisogno di dati di addestramento dal mondo reale — entrambe le fasi sono di norma addestrate interamente in simulazione, e lo student viene impiegato zero-shot
• Lo student copia semplicemente il teacher — deve dedurre l'informazione nascosta dalla propria cronologia dei sensori, ed è questa la parte difficile
• L'addestramento teacher-student sostituisce l'apprendimento per rinforzo — il teacher è di solito addestrato con RL; solo la fase dello student è distillazione supervisionata

Chi dovrebbe saperlo

• Ricercatori di robot learning che lavorano sul trasferimento sim-to-real
• Ingegneri del controllo della locomozione con gambe
• Ricercatori di manipolazione fine
• Professionisti dell'apprendimento per rinforzo che impiegano policy sull'hardware

Tecnologie correlate

• Isaac Lab
• DAgger
• Actor-critic asimmetrico (Asymmetric Actor-Critic)
• Distillazione della policy (Policy Distillation)
• Proximal Policy Optimization (PPO)
• MuJoCo

Termini correlati

• Reinforcement Learning
• Sim2Real
• Domain Randomization
• Curriculum Learning

Progetti correlati

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim