Teacher-Student Training

Também chamado: privileged learning, learning by cheating, teacher-student distillation, privileged teacher
Categoria: Learning & autonomy › RL & simulation
Tags: reinforcement-learning, sim-to-real, policy-distillation, robot-learning, locomotion

Um esquema de treinamento em que uma política professor com informações privilegiadas, como o estado real do simulador, é destilada em uma política aluno que usa apenas os sensores disponíveis no robô real.

Definição

Treinamento professor-aluno (teacher-student training) é uma abordagem em duas etapas para o aprendizado de robôs, usada principalmente em simulação, que separa aprender o que fazer de aprender a inferir isso a partir de sensores realistas. Na primeira etapa, uma política professor é treinada, geralmente com aprendizado por reforço, recebendo informações privilegiadas que um robô real não teria: alturas exatas do terreno, coeficientes de atrito, poses de objetos, estados de contato ou o estado completo do simulador. Com essas informações, a tarefa fica muito mais fácil de aprender.

Na segunda etapa, uma política aluno é treinada para reproduzir o comportamento do professor usando apenas observações disponíveis no hardware, como encoders das juntas, uma unidade de medição inercial (IMU), imagens de câmera ou um breve histórico de observações passadas. Como o professor pode ser consultado em qualquer estado, o aluno é treinado com aprendizado supervisionado, muitas vezes com coleta de dados no estilo DAgger, em que o aluno conduz a simulação e o professor fornece a ação correta em cada estado visitado. O aluno frequentemente usa uma rede recorrente ou um codificador de histórico para conseguir inferir grandezas ocultas, como o atrito do solo, a partir de como o robô vem se movendo.

A abordagem está intimamente relacionada aos métodos ator-crítico assimétricos, em que apenas o crítico vê o estado privilegiado, e à destilação de políticas em geral. Na direção autônoma, ela foi apresentada como “learning by cheating” por Chen et al. em 2019, e se tornou amplamente usada na locomoção com pernas depois que Lee et al. treinaram, em 2020, controladores de quadrúpedes dessa forma e os implantaram em terreno natural irregular.

A principal limitação é que o aluno só pode ser tão bom quanto a informação que seus sensores carregam: se o professor depende de algo que o aluno não consegue inferir, o aluno ficará aquém.

Por que importa

Aprender diretamente a partir de dados de sensores ruidosos e parciais com aprendizado por reforço é lento e instável. O treinamento professor-aluno permite que o difícil problema de controle seja resolvido primeiro com informação completa e depois transfere essa habilidade para uma política que pode rodar em um robô real, o que o tornou uma parte padrão dos pipelines sim-to-real para robôs com pernas e mãos hábeis.

Principais aplicações

Locomoção com pernas em terreno irregular usando principalmente a propriocepção
Manipulação hábil na mão com políticas treinadas primeiro com o estado completo do objeto
Políticas de navegação e direção baseadas em visão destiladas de especialistas baseados em estado
Transferência sim-to-real quando parâmetros físicos importantes não podem ser medidos no hardware

Na prática

Uma equipe que treina um controlador de quadrúpede em um simulador em GPU como o Isaac Lab primeiro treina um professor com PPO, alimentando-o com propriocepção mais amostras privilegiadas do terreno e informações de contato, com domain randomization sobre atrito e carga útil. Quando o professor é confiável, ela treina um aluno que recebe apenas o histórico proprioceptivo, às vezes com uma entrada ruidosa de mapa de alturas ou de profundidade, para reproduzir as ações ou as características latentes do professor. Os dados de treinamento vêm de executar o aluno em muitos ambientes paralelos e rotular cada estado visitado com a saída do professor. O aluno é então implantado no robô real, e os engenheiros o testam nas situações em que a informação oculta mais importa, como pisos escorregadios ou obstáculos que o robô não consegue ver.

Equívocos comuns

O aluno precisa de dados de treinamento do mundo real — as duas etapas normalmente são treinadas inteiramente em simulação, e o aluno é implantado zero-shot
O aluno simplesmente copia o professor — ele precisa inferir a informação oculta a partir de seu próprio histórico de sensores, que é a parte difícil
O treinamento professor-aluno substitui o aprendizado por reforço — o professor geralmente é treinado com RL; apenas a etapa do aluno é destilação supervisionada

Quem deve saber

Pesquisadores de aprendizado de robôs que trabalham com transferência sim-to-real
Engenheiros de controle de locomoção com pernas
Pesquisadores de manipulação hábil
Profissionais de aprendizado por reforço que implantam políticas em hardware

Tecnologias relacionadas

Isaac Lab
DAgger
Ator-crítico assimétrico (Asymmetric Actor-Critic)
Destilação de políticas (Policy Distillation)
Proximal Policy Optimization (PPO)
MuJoCo

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim