Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Meta-Reinforcement Learning

  • Também chamado: meta-RL
  • Categoria: Learning & autonomy › RL & simulation
  • Tags: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning

Aprendizado por reforço que treina em muitas tarefas relacionadas para que o agente aprenda a se adaptar e consiga resolver uma tarefa nova da mesma família com apenas um pouco de experiência.

Definição

Meta-aprendizado por reforço (meta-reinforcement learning, meta-RL) trata o próprio aprendizado como aquilo que deve ser aprendido. Em vez de treinar uma política para uma única tarefa, o agente é treinado sobre uma distribuição de tarefas relacionadas, por exemplo alcançar alvos diferentes, empurrar objetos de massas diferentes ou abrir portas diferentes. O objetivo é que, diante de uma tarefa nova tirada da mesma distribuição, ele consiga se adaptar com uma pequena quantidade de experiência nova, muitas vezes alguns episódios, em vez de aprender do zero. O treinamento é dividido em um laço interno, que se adapta a uma tarefa, e um laço externo, que melhora o procedimento de adaptação ao longo das tarefas.

Três famílias de métodos são comuns. Os métodos baseados em gradiente, como o meta-aprendizado agnóstico ao modelo (MAML, Finn, Abbeel e Levine, 2017), aprendem pesos iniciais da rede a partir dos quais alguns passos de gradiente na tarefa nova produzem uma boa política. Os métodos recorrentes ou baseados em contexto, como o RL² (Duan et al., 2016), alimentam o histórico de estados, ações e recompensas em uma rede recorrente ou outro modelo de sequência cujo estado oculto carrega o que ele aprendeu sobre a tarefa atual, de modo que a adaptação acontece sem atualizações de gradiente. Os métodos de inferência latente da tarefa, como o PEARL (Rakelly et al., 2019), aprendem um encoder que infere uma variável de tarefa probabilística a partir da experiência e condicionam a política a ela, o que também permite o treinamento off-policy.

O meta-RL está intimamente relacionado à tomada de decisão parcialmente observável: a tarefa desconhecida pode ser vista como uma parte oculta do estado que o agente precisa inferir agindo. Ele difere do aprendizado por reforço multitarefa, que treina uma única política para executar bem um conjunto conhecido e fixo de tarefas, geralmente com a identidade da tarefa fornecida, e não mede a adaptação a tarefas não vistas. Benchmarks como o Meta-World testam os dois cenários no mesmo conjunto de tarefas de manipulação. Os resultados dependem muito de quão ampla é a distribuição de tarefas de treinamento: o meta-RL tende a se adaptar bem a variações das tarefas de treinamento e mal a tarefas estruturalmente diferentes.

Por que importa

Robôs enfrentam variação o tempo todo: objetos, cargas úteis, terrenos e desgaste diferentes. O meta-RL é uma das principais abordagens para fazer controladores aprendidos se adaptarem rapidamente a essas mudanças em vez de serem retreinados do zero, e as mesmas ideias estão por trás dos módulos de adaptação online usados na locomoção sim-to-real.

Principais aplicações

  • Adaptação rápida de habilidades de manipulação a novos alvos e objetos
  • Adaptação de controladores de locomoção a mudanças de carga útil, de terreno ou a danos
  • Adaptação online de modelos de dinâmica aprendidos no controle baseado em modelo
  • Avaliação da generalização com famílias de tarefas como o Meta-World
  • Imitação e adaptação few-shot a partir de pequenas quantidades de dados do robô

Na prática

Uma equipe de pesquisa quer um braço robótico que consiga aprender uma nova habilidade de manipulação a partir de um punhado de tentativas. Em simulação, eles constroem uma família de tarefas com posições de objetos e alvos randomizados em vários tipos de tarefa e treinam um agente de meta-RL baseado em contexto que se condiciona a uma variável de tarefa latente inferida a partir das transições recentes. No momento do teste, com um alvo reservado, o robô coleta alguns episódios exploratórios, o encoder atualiza sua estimativa da tarefa e a política melhora sem nenhuma atualização de gradiente. A equipe relata o sucesso separadamente em variações reservadas das tarefas de treinamento e em tipos de tarefa totalmente novos, já que o desempenho nestes últimos costuma ser muito menor.

Equívocos comuns

  • O meta-RL aprende uma política capaz de fazer qualquer coisa — ele se adapta a tarefas da distribuição de treinamento e geralmente generaliza mal para tarefas com estrutura diferente
  • Meta-RL e RL multitarefa são a mesma coisa — o RL multitarefa otimiza o desempenho em um conjunto conhecido de tarefas, enquanto o meta-RL otimiza a velocidade de adaptação a tarefas novas
  • Adaptar sempre significa fazer ajuste fino dos pesos — os métodos baseados em contexto se adaptam apenas atualizando um estado oculto ou uma variável latente, sem passos de gradiente no momento do teste

Quem deve saber

  • Pesquisadores de aprendizado robótico que trabalham com generalização e adaptação
  • Profissionais de aprendizado por reforço que projetam distribuições de tarefas
  • Engenheiros que constroem controladores adaptativos de locomoção e manipulação
  • Estudantes de pós-graduação em aprendizado de máquina para robótica

Tecnologias relacionadas

  • Model-Agnostic Meta-Learning (MAML)
  • RL²
  • PEARL
  • Meta-World
  • Redes neurais recorrentes (Recurrent Neural Networks)

Termos relacionados

  • Multi-Task Reinforcement Learning
  • Reinforcement Learning
  • Partially Observable Markov Decision Process (POMDP)
  • Lifelong Robot Learning
  • Domain Randomization
  • Teacher-Student Training

Projetos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Vídeos

  • Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.