Residual Reinforcement Learning

Também chamado: residual RL, residual policy learning
Categoria: Learning & autonomy › RL & simulation
Tags: reinforcement-learning, robot-learning, manipulation, contact-rich-tasks, sim-to-real

Aprendizado por reforço de uma correção que é somada às ações de um controlador existente ou de uma política aprendida, para que o aprendizado parta de um comportamento razoável em vez de começar do zero.

Definição

Aprendizado por reforço residual (residual reinforcement learning) divide a ação de um robô em duas partes: a saída de uma política base e um resíduo aprendido. A política base pode ser um controlador projetado à mão, um seguidor de trajetória ou uma política treinada por aprendizado por imitação. A política residual observa o estado, muitas vezes junto com a ação base, e produz uma correção que é somada à ação base. Apenas o resíduo é treinado com aprendizado por reforço; a política base permanece fixa. A abordagem foi introduzida de forma independente por dois grupos em 2018 e 2019, com os nomes residual policy learning e residual reinforcement learning for robot control.

Partir de uma política base que funciona muda o problema de aprendizado de formas úteis. No início do treinamento, quando o resíduo é quase zero, o robô já se comporta de forma sensata, então a exploração é mais segura e as recompensas são mais fáceis de alcançar, o que importa para tarefas com recompensas esparsas e para treinar em hardware real. O resíduo só precisa aprender o que a política base faz errado, como efeitos de contato, atrito ou variações de objetos que um controlador não modela. Inicializar a rede residual para produzir zero e limitar sua magnitude são formas comuns de manter o comportamento inicial próximo da política base.

A política base também limita o que pode ser aprendido. Se ela estiver longe de um bom comportamento, um resíduo limitado pode não ser capaz de corrigi-la, e um ilimitado abre mão do benefício de segurança. Algumas variantes deixam o resíduo ajustar parâmetros do controlador, como ganhos ou setpoints, em vez de ações brutas, ou combinam resíduos com políticas aprendidas a partir de um pequeno número de demonstrações, de modo que a imitação fornece o comportamento base e o aprendizado por reforço o refina em precisão ou robustez.

Por que importa

O aprendizado por reforço puro em robôs reais é lento e pode ser inseguro, enquanto controladores projetados à mão e políticas de imitação muitas vezes estão quase certos, mas falham nos detalhes do contato. O RL residual combina os dois, o que o torna uma forma prática de melhorar controladores existentes com uma quantidade limitada de interação no mundo real.

Principais aplicações

Montagem rica em contatos, como a inserção de pino em furo (peg-in-hole)
Refinamento de políticas aprendidas por imitação com aprendizado por reforço
Correção de controladores baseados em modelo para atrito e dinâmica não modelados
Adaptação de controladores treinados em simulação ao hardware real
Melhoria da preensão e da manipulação na mão a partir de uma referência programada

Na prática

Uma equipe usa um controlador de impedância para inserir um pino em um furo de encaixe apertado. O controlador chega ao furo de forma confiável, mas muitas vezes trava por causa de pequenos erros de pose e do atrito. A equipe adiciona uma política residual que vê a pose do efetuador final e a leitura de força-torque do punho e produz um pequeno deslocamento da posição-alvo do controlador, limitado a uma faixa estreita. O resíduo começa em zero, então os primeiros episódios se comportam como o controlador original, e ele é treinado com um algoritmo off-policy como o soft actor-critic usando uma recompensa baseada na profundidade de inserção. Ao longo do treinamento, ele aprende os pequenos movimentos corretivos que soltam um pino travado, enquanto o controlador base continua cuidando do movimento grosso.

Equívocos comuns

O RL residual retreina o controlador base — a política base permanece fixa e apenas a correção aditiva é aprendida
Qualquer política base serve — o resíduo costuma ser limitado, então uma política base ruim limita o que o sistema combinado consegue alcançar
O RL residual elimina a necessidade de projetar recompensas — o resíduo ainda precisa de uma recompensa que capture a tarefa; a política base só torna a exploração mais fácil e mais segura

Quem deve saber

Pesquisadores de aprendizado de robôs
Engenheiros de manipulação que trabalham com tarefas ricas em contatos
Engenheiros de controle que melhoram controladores existentes com dados
Profissionais de sim-to-real

Tecnologias relacionadas

Soft Actor-Critic
Twin Delayed DDPG (TD3)
Controle de impedância (Impedance Control)
Clonagem de comportamento (Behavior Cloning)
Proximal Policy Optimization

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim