Meta-Reinforcement Learning
- Também chamado: meta-RL
- Categoria: Learning & autonomy › RL & simulation
- Tags: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning
Aprendizado por reforço que treina em muitas tarefas relacionadas para que o agente aprenda a se adaptar e consiga resolver uma tarefa nova da mesma família com apenas um pouco de experiência.
Definição
Meta-aprendizado por reforço (meta-reinforcement learning, meta-RL) trata o próprio aprendizado como aquilo que deve ser aprendido. Em vez de treinar uma política para uma única tarefa, o agente é treinado sobre uma distribuição de tarefas relacionadas, por exemplo alcançar alvos diferentes, empurrar objetos de massas diferentes ou abrir portas diferentes. O objetivo é que, diante de uma tarefa nova tirada da mesma distribuição, ele consiga se adaptar com uma pequena quantidade de experiência nova, muitas vezes alguns episódios, em vez de aprender do zero. O treinamento é dividido em um laço interno, que se adapta a uma tarefa, e um laço externo, que melhora o procedimento de adaptação ao longo das tarefas.
Três famílias de métodos são comuns. Os métodos baseados em gradiente, como o meta-aprendizado agnóstico ao modelo (MAML, Finn, Abbeel e Levine, 2017), aprendem pesos iniciais da rede a partir dos quais alguns passos de gradiente na tarefa nova produzem uma boa política. Os métodos recorrentes ou baseados em contexto, como o RL² (Duan et al., 2016), alimentam o histórico de estados, ações e recompensas em uma rede recorrente ou outro modelo de sequência cujo estado oculto carrega o que ele aprendeu sobre a tarefa atual, de modo que a adaptação acontece sem atualizações de gradiente. Os métodos de inferência latente da tarefa, como o PEARL (Rakelly et al., 2019), aprendem um encoder que infere uma variável de tarefa probabilística a partir da experiência e condicionam a política a ela, o que também permite o treinamento off-policy.
O meta-RL está intimamente relacionado à tomada de decisão parcialmente observável: a tarefa desconhecida pode ser vista como uma parte oculta do estado que o agente precisa inferir agindo. Ele difere do aprendizado por reforço multitarefa, que treina uma única política para executar bem um conjunto conhecido e fixo de tarefas, geralmente com a identidade da tarefa fornecida, e não mede a adaptação a tarefas não vistas. Benchmarks como o Meta-World testam os dois cenários no mesmo conjunto de tarefas de manipulação. Os resultados dependem muito de quão ampla é a distribuição de tarefas de treinamento: o meta-RL tende a se adaptar bem a variações das tarefas de treinamento e mal a tarefas estruturalmente diferentes.
Por que importa
Robôs enfrentam variação o tempo todo: objetos, cargas úteis, terrenos e desgaste diferentes. O meta-RL é uma das principais abordagens para fazer controladores aprendidos se adaptarem rapidamente a essas mudanças em vez de serem retreinados do zero, e as mesmas ideias estão por trás dos módulos de adaptação online usados na locomoção sim-to-real.
Principais aplicações
- Adaptação rápida de habilidades de manipulação a novos alvos e objetos
- Adaptação de controladores de locomoção a mudanças de carga útil, de terreno ou a danos
- Adaptação online de modelos de dinâmica aprendidos no controle baseado em modelo
- Avaliação da generalização com famílias de tarefas como o Meta-World
- Imitação e adaptação few-shot a partir de pequenas quantidades de dados do robô
Na prática
Uma equipe de pesquisa quer um braço robótico que consiga aprender uma nova habilidade de manipulação a partir de um punhado de tentativas. Em simulação, eles constroem uma família de tarefas com posições de objetos e alvos randomizados em vários tipos de tarefa e treinam um agente de meta-RL baseado em contexto que se condiciona a uma variável de tarefa latente inferida a partir das transições recentes. No momento do teste, com um alvo reservado, o robô coleta alguns episódios exploratórios, o encoder atualiza sua estimativa da tarefa e a política melhora sem nenhuma atualização de gradiente. A equipe relata o sucesso separadamente em variações reservadas das tarefas de treinamento e em tipos de tarefa totalmente novos, já que o desempenho nestes últimos costuma ser muito menor.
Equívocos comuns
- O meta-RL aprende uma política capaz de fazer qualquer coisa — ele se adapta a tarefas da distribuição de treinamento e geralmente generaliza mal para tarefas com estrutura diferente
- Meta-RL e RL multitarefa são a mesma coisa — o RL multitarefa otimiza o desempenho em um conjunto conhecido de tarefas, enquanto o meta-RL otimiza a velocidade de adaptação a tarefas novas
- Adaptar sempre significa fazer ajuste fino dos pesos — os métodos baseados em contexto se adaptam apenas atualizando um estado oculto ou uma variável latente, sem passos de gradiente no momento do teste
Quem deve saber
- Pesquisadores de aprendizado robótico que trabalham com generalização e adaptação
- Profissionais de aprendizado por reforço que projetam distribuições de tarefas
- Engenheiros que constroem controladores adaptativos de locomoção e manipulação
- Estudantes de pós-graduação em aprendizado de máquina para robótica
Tecnologias relacionadas
- Model-Agnostic Meta-Learning (MAML)
- RL²
- PEARL
- Meta-World
- Redes neurais recorrentes (Recurrent Neural Networks)
Termos relacionados
- Multi-Task Reinforcement Learning
- Reinforcement Learning
- Partially Observable Markov Decision Process (POMDP)
- Lifelong Robot Learning
- Domain Randomization
- Teacher-Student Training
Projetos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
Vídeos
- Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing