Teacher-Student Training

• También llamado: privileged learning, learning by cheating, teacher-student distillation, privileged teacher
• Categoría: Learning & autonomy › RL & simulation
• Etiquetas: reinforcement-learning, sim-to-real, policy-distillation, robot-learning, locomotion

Un esquema de entrenamiento en el que una política maestra con información privilegiada, como el estado real del simulador, se destila en una política estudiante que usa solo los sensores disponibles en el robot real.

Definición

Entrenamiento maestro-estudiante (teacher-student training) es un enfoque en dos etapas del aprendizaje de robots, usado sobre todo en simulación, que separa aprender qué hacer de aprender a inferirlo a partir de sensores realistas. En la primera etapa se entrena una política maestra, normalmente con aprendizaje por refuerzo, a la que se da información privilegiada que un robot real no tendría: alturas exactas del terreno, coeficientes de fricción, poses de objetos, estados de contacto o el estado completo del simulador. Con esta información, la tarea es mucho más fácil de aprender.

En la segunda etapa se entrena una política estudiante para reproducir el comportamiento del maestro usando solo observaciones disponibles en el hardware, como los encoders de las articulaciones, una unidad de medición inercial (IMU), imágenes de cámara o un breve historial de observaciones pasadas. Como el maestro puede consultarse en cualquier estado, el estudiante se entrena con aprendizaje supervisado, a menudo con una recogida de datos al estilo DAgger en la que el estudiante conduce la simulación y el maestro proporciona la acción correcta en cada estado visitado. El estudiante suele usar una red recurrente o un codificador del historial para poder inferir magnitudes ocultas, como la fricción del suelo, a partir de cómo se ha estado moviendo el robot.

El enfoque está estrechamente relacionado con los métodos actor-crítico asimétricos, en los que solo el crítico ve el estado privilegiado, y con la destilación de políticas en general. En la conducción autónoma lo presentaron Chen et al. en 2019 como «learning by cheating», y se generalizó en la locomoción con patas después de que Lee et al. entrenaran en 2020 controladores de cuadrúpedos de esta forma y los desplegaran sobre terreno natural irregular.

La principal limitación es que el estudiante solo puede ser tan bueno como la información que transportan sus sensores: si el maestro depende de algo que el estudiante no puede inferir, el estudiante se quedará corto.

Por qué importa

Aprender directamente a partir de datos de sensores ruidosos y parciales con aprendizaje por refuerzo es lento e inestable. El entrenamiento maestro-estudiante permite resolver primero el difícil problema de control con información completa y después transferir esa habilidad a una política que puede ejecutarse en un robot real, lo que lo ha convertido en una parte estándar de las cadenas sim-to-real para robots con patas y manos diestras.

Aplicaciones clave

• Locomoción con patas sobre terreno irregular usando principalmente la propiocepción
• Manipulación diestra en la mano con políticas entrenadas primero con el estado completo del objeto
• Políticas de navegación y conducción basadas en visión destiladas a partir de expertos basados en el estado
• Transferencia sim-to-real cuando parámetros físicos clave no pueden medirse en el hardware

En la práctica

Un equipo que entrena un controlador de cuadrúpedo en un simulador en GPU como Isaac Lab entrena primero un maestro con PPO, alimentándolo con propiocepción más muestras privilegiadas del terreno e información de contacto, con aleatorización de dominio sobre la fricción y la carga útil. Cuando el maestro es fiable, entrenan un estudiante que recibe solo el historial propioceptivo, a veces con una entrada ruidosa de mapa de alturas o de profundidad, para que reproduzca las acciones o las características latentes del maestro. Los datos de entrenamiento proceden de desplegar al estudiante en muchos entornos paralelos y etiquetar cada estado visitado con la salida del maestro. Después, el estudiante se despliega en el robot real, y los ingenieros lo prueban en las situaciones en las que la información oculta más importa, como suelos resbaladizos u obstáculos que el robot no puede ver.

Ideas erróneas comunes

• El estudiante necesita datos de entrenamiento del mundo real — ambas etapas se entrenan normalmente por completo en simulación, y el estudiante se despliega zero-shot
• El estudiante simplemente copia al maestro — debe inferir la información oculta a partir de su propio historial de sensores, que es la parte difícil
• El entrenamiento maestro-estudiante sustituye al aprendizaje por refuerzo — el maestro suele entrenarse con RL; solo la etapa del estudiante es destilación supervisada

Quién debería saberlo

• Investigadores en aprendizaje de robots que trabajan en transferencia sim-to-real
• Ingenieros de control de locomoción con patas
• Investigadores en manipulación diestra
• Profesionales del aprendizaje por refuerzo que despliegan políticas en hardware

Tecnologías relacionadas

• Isaac Lab
• DAgger
• Actor-crítico asimétrico (Asymmetric Actor-Critic)
• Destilación de políticas (Policy Distillation)
• Proximal Policy Optimization (PPO)
• MuJoCo

Términos relacionados

• Reinforcement Learning
• Sim2Real
• Domain Randomization
• Curriculum Learning

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim