Asymmetric Actor-Critic

Também chamado: asymmetric critic, privileged critic
Categoria: Learning & autonomy › RL & simulation
Tags: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

Uma configuração de aprendizado por reforço ator-crítico em que o crítico é treinado com o estado privilegiado do simulador, enquanto o ator usa apenas observações que o robô real terá.

Definição

Ator-crítico assimétrico (asymmetric actor-critic) é uma forma de treinar uma política com um algoritmo de aprendizado por reforço ator-crítico quando o ambiente de treinamento sabe mais do que o robô implantado saberá. O ator, que se torna a política implantada, recebe apenas observações realistas, como imagens de câmera, encoders das juntas ou estimativas ruidosas da pose dos objetos. O crítico, que estima o valor dos estados e existe apenas para reduzir a variância do gradiente de política durante o treinamento, recebe informação privilegiada extra: poses e velocidades exatas dos objetos, forças de contato, coeficientes de atrito e outros elementos do estado do simulador. Pinto e colegas introduziram o termo em 2018 para o aprendizado de robôs baseado em imagens, em que o ator via imagens e o crítico via o estado completo.

A ideia funciona porque o crítico é descartado após o treinamento. Nada do que ele consome precisa ser medido no robô real, então ele pode receber o que tornar a estimativa de valor mais fácil. Um crítico com estado completo aprende mais rápido e com mais precisão do que um que precisa inferir grandezas ocultas a partir de observações parciais, o que dá ao ator sinais de aprendizado melhores. A abordagem se encaixa naturalmente em métodos on-policy como o PPO, usado para reorientação na mão no Isaac Gym, e em métodos off-policy como DDPG ou SAC.

O ator-crítico assimétrico difere do treinamento professor-aluno. No treinamento professor-aluno, uma política professora separada é primeiro treinada com entradas privilegiadas e depois destilada em um aluno que vê apenas observações reais. No ator-crítico assimétrico há uma única política, treinada diretamente por aprendizado por reforço com entradas realistas; apenas a função de valor é privilegiada. Os dois são frequentemente combinados. Uma sutileza é que, sob observabilidade parcial, um crítico condicionado apenas no estado verdadeiro pode dar estimativas de valor enviesadas para uma política que age com base no histórico de observações, por isso muitas implementações fornecem ao crítico tanto o estado privilegiado quanto as observações do ator.

Por que importa

O aprendizado por reforço sim-to-real precisa de políticas que rodem em sensores reais, mas aprender a partir de observações parciais e ruidosas é lento e instável. Dar ao crítico o estado privilegiado do simulador é uma mudança barata nos algoritmos padrão que muitas vezes torna o treinamento muito mais rápido e confiável, sem acrescentar nada que o robô implantado precise medir.

Principais aplicações

Reorientação de objetos na mão com mãos robóticas hábeis
Políticas de manipulação baseadas em imagens treinadas em simulação
Políticas de locomoção com pernas treinadas com informação privilegiada de terreno e de contato
Aprendizado por reforço sim-to-real com simuladores paralelos em GPU
Tarefas de controle parcialmente observáveis em que o simulador expõe o estado oculto

Na prática

Uma equipe treina uma mão de vários dedos para reorientar objetos em um simulador em GPU com PPO. A rede do ator recebe as posições das pontas dos dedos, os ângulos das juntas e uma estimativa da pose do objeto com ruído e latência acrescentados, correspondendo ao que um rastreador de pose baseado em câmera vai fornecer no hardware. A rede do crítico recebe as mesmas entradas mais a pose exata do objeto, a velocidade linear e angular, a orientação objetivo e os valores randomizados de atrito e massa daquele ambiente. As duas redes compartilham os mesmos rollouts e são atualizadas juntas. Na implantação, apenas os pesos do ator são exportados para o computador do robô; o crítico e as entradas exclusivas do simulador nunca mais são necessários.

Equívocos comuns

A política implantada usa o estado privilegiado — apenas o crítico o vê durante o treinamento, e o crítico é descartado na implantação
É o mesmo que o treinamento professor-aluno — o professor-aluno treina uma política privilegiada e a destila, enquanto o ator-crítico assimétrico treina diretamente uma única política realista com uma função de valor privilegiada
Um crítico só de estado está sempre correto — sob observabilidade parcial ele pode enviesar a estimativa de valor para um ator baseado em observações, e por isso os críticos muitas vezes recebem também as observações do ator

Quem deve saber

Engenheiros de aprendizado por reforço que trabalham com transferência sim-to-real
Pesquisadores de manipulação hábil
Desenvolvedores de locomoção com pernas que treinam políticas em simulação
Engenheiros de simulação que projetam espaços de observação para o treinamento

Tecnologias relacionadas

Proximal Policy Optimization
Isaac Gym
Aprendizado privilegiado (Privileged Learning)
Randomização de domínio (Domain Randomization)
Soft Actor-Critic

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim