Actor-Critic

Também chamado: actor-critic methods, actor-critic algorithm
Categoria: Learning & autonomy › RL & simulation
Tags: reinforcement-learning, policy-gradient, value-function, deep-learning, robot-learning

Uma família de métodos de aprendizado por reforço que treinam duas partes juntas: um ator, a política que escolhe as ações, e um crítico, uma função de valor aprendida usada para avaliar e melhorar essas ações.

Definição

Os métodos ator-crítico (actor-critic) são uma família de algoritmos de aprendizado por reforço que combinam aprendizado de política com aprendizado de valor. O ator é a política, uma função que mapeia o estado ou a observação atual para uma ação ou para uma distribuição sobre ações. O crítico é uma estimativa aprendida de quão bons são os estados ou as ações: uma função de valor de estado V(s), uma função de valor de ação Q(s, a) ou uma função de vantagem que mede o quanto uma ação é melhor que a média da política. O crítico é treinado a partir da experiência, geralmente com aprendizado por diferença temporal, e o ator é atualizado na direção que o crítico indica que aumentará o retorno esperado.

A ideia remonta ao trabalho de Barto, Sutton e Anderson de 1983 sobre aprender a equilibrar um pêndulo, e Konda e Tsitsiklis deram uma análise formal dos algoritmos ator-crítico e de sua convergência por volta de 2000. A motivação é a redução de variância. Métodos puros de gradiente de política como o REINFORCE ponderam cada ação pelo retorno observado completo, que é muito ruidoso; substituir esse retorno pela estimativa de um crítico, ou subtrair uma linha de base aprendida para formar uma vantagem, dá atualizações com variância muito menor ao custo de algum viés vindo dos erros do crítico. Técnicas como a estimativa generalizada de vantagem permitem ao usuário ajustar esse compromisso entre viés e variância.

A maior parte do aprendizado por reforço profundo usado em robótica é ator-crítico. Variantes on-policy como A2C e Proximal Policy Optimization (PPO) treinam um ator estocástico com uma linha de base de valor aprendida e são muito usadas para locomoção em simulação massivamente paralela. Variantes off-policy como DDPG, TD3 e soft actor-critic (SAC) aprendem uma função Q a partir de um buffer de replay e atualizam o ator seguindo o gradiente do crítico, o que usa os dados de forma mais eficiente e convém ao treinamento em hardware real. Como o crítico só é necessário durante o treinamento, ele pode usar informações que o ator implantado nunca vê, e essa é a base do treinamento ator-crítico assimétrico.

Por que importa

A estrutura ator-crítico é o que torna o aprendizado por reforço profundo estável o suficiente para o controle de robôs. Saber o que cada parte faz explica a maioria das decisões práticas de ajuste, dos pesos da perda de valor e da normalização da vantagem até o motivo pelo qual se pode dar a um crítico o estado privilegiado do simulador, e é o vocabulário comum por trás do PPO, do SAC e de suas variantes.

Principais aplicações

Políticas de locomoção com pernas treinadas em simulação com PPO
Aprendizado eficiente em amostras em braços robóticos reais com SAC ou TD3
Manipulação destra na mão com críticos de informação privilegiada
Políticas de controle para drones e quadricópteros
Controle de câmera e de ponto de vista aprendido a partir de sinais de recompensa
Ajuste fino de políticas pré-treinadas por aprendizado por imitação

Na prática

Uma equipe treina uma política de caminhada para um quadrúpede com PPO em um simulador em GPU que roda milhares de ambientes em paralelo. O ator é um pequeno perceptron multicamadas que recebe observações proprioceptivas e produz a média de uma gaussiana sobre alvos de posição das juntas. O crítico é uma rede separada que recebe as mesmas observações mais termos privilegiados como a velocidade real da base, as alturas do terreno e o atrito, e prevê o retorno descontado esperado. Após cada rollout, a estimativa generalizada de vantagem combina as previsões do crítico com as recompensas observadas, o ator é atualizado com o objetivo recortado do PPO e o crítico é ajustado por regressão em direção aos retornos calculados. Os engenheiros acompanham a variância explicada do crítico: se ela continua baixa, as vantagens são em grande parte ruído e o ator para de melhorar. Só o ator é exportado para o computador de bordo do robô.

Equívocos comuns

O crítico faz parte do controlador implantado — só o ator roda no robô; o crítico existe para treiná-lo
Os valores do crítico são medidas exatas do sucesso da tarefa — são aproximações aprendidas que podem ser enviesadas, e a superestimação da função Q é uma falha conhecida que TD3 e SAC combatem com críticos gêmeos
PPO não é um método ator-crítico — as implementações padrão de PPO treinam uma função de valor como linha de base para as vantagens, o que as torna ator-crítico
Ator-crítico é o nome de um único algoritmo — é uma família que inclui métodos on-policy e off-policy, estocásticos e determinísticos

Quem deve saber

Profissionais de aprendizado por reforço que trabalham com robôs físicos
Engenheiros de locomoção e manipulação que usam controladores aprendidos
Pesquisadores de aprendizado robótico que projetam pipelines de treinamento
Estudantes que passam do controle clássico para o controle aprendido

Tecnologias relacionadas

A2C e A3C
DDPG
TD3
Estimativa generalizada de vantagem (Generalized Advantage Estimation)
Stable-Baselines3
Isaac Lab

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Vídeos

Actor Critic Algorithms: Siraj Raval
Everything You Need To Master Actor Critic Methods | Tensorflow 2 Tutorial: Machine Learning with Phil