Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Multi-Task Reinforcement Learning

  • Também chamado: multi-task RL, MTRL
  • Categoria: Learning & autonomy › RL & simulation
  • Tags: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning

Aprendizado por reforço que treina uma única política, condicionada a um identificador ou a uma descrição da tarefa, para ter bom desempenho em um conjunto fixo de tarefas ao mesmo tempo.

Definição

Aprendizado por reforço multitarefa (multi-task reinforcement learning) treina um único agente para resolver várias tarefas em vez de treinar um agente separado para cada uma. A política geralmente é condicionada à tarefa: ela recebe, junto com o estado, um identificador de tarefa one-hot, um objetivo, uma instrução em linguagem natural ou outra descrição da tarefa, e o objetivo de otimização é o retorno esperado médio sobre o conjunto de tarefas. A expectativa é que as tarefas compartilhem estrutura, como a forma de mover o braço ou de agarrar uma alça, de modo que a experiência de uma tarefa ajude as outras e a política compartilhada precise de menos dados do que as tarefas isoladamente.

Na prática, compartilhar também pode atrapalhar. As tarefas podem exigir comportamentos conflitantes, suas recompensas podem diferir muito em escala, e as atualizações de gradiente de uma tarefa podem desfazer o progresso em outra, um problema conhecido como transferência negativa ou interferência de gradientes. Remédios comuns incluem normalizar os retornos ou usar cabeças de valor separadas por tarefa, ajustar os gradientes para que as tarefas não entrem em conflito, encaminhar as tarefas por módulos de rede parcialmente separados, equilibrar a frequência com que cada tarefa é amostrada e destilar políticas especialistas treinadas separadamente em uma única política aluna. O aprendizado condicionado a objetivos é um caso especial em que as tarefas diferem apenas no objetivo e compartilham a mesma estrutura de recompensa.

O RL multitarefa difere do meta-aprendizado por reforço. O RL multitarefa é avaliado nas tarefas em que foi treinado, geralmente com a identidade da tarefa conhecida; o meta-RL é avaliado pela rapidez com que se adapta a tarefas novas tiradas da mesma distribuição. Benchmarks como o Meta-World oferecem os dois cenários sobre as mesmas tarefas de manipulação, o que torna a diferença concreta. O treinamento multitarefa também é um bloco de construção de políticas robóticas maiores treinadas em muitas tarefas a partir de dados de demonstração, embora estas geralmente sejam treinadas por imitação, e não por aprendizado por reforço.

Por que importa

Robôs úteis precisam de muitas habilidades, e treinar e manter uma política por habilidade não escala. O RL multitarefa é o caminho do aprendizado por reforço para um único controlador que cubra muitos comportamentos, e entender onde o compartilhamento ajuda e onde causa interferência é essencial ao projetar esses sistemas.

Principais aplicações

  • Políticas únicas para muitas habilidades de manipulação sobre mesa
  • Controladores robóticos condicionados por linguagem ou por objetivo
  • Destilação de várias políticas especialistas em uma única rede implantável
  • Políticas de locomoção compartilhadas entre marchas, velocidades ou terrenos
  • Avaliação da transferência e da interferência entre tarefas

Na prática

Uma equipe quer uma única política capaz de abrir gavetas, apertar botões e girar torneiras com um braço sobre uma mesa. Ela treina em simulação um agente SAC condicionado à tarefa, com um vetor de tarefa one-hot acrescentado à observação. As primeiras execuções mostram a política dominando duas tarefas e ignorando as outras, porque as recompensas delas são maiores e dominam as atualizações. A equipe acrescenta uma temperatura aprendida separada por tarefa, amostra as tarefas de maneira uniforme em cada lote e acompanha o sucesso por tarefa em vez de apenas a média, o que faz as tarefas mais fracas avançarem sem desacelerar as mais fortes.

Equívocos comuns

  • Treinar com mais tarefas sempre ajuda cada tarefa — tarefas conflitantes podem interferir, e uma política multitarefa pode ter desempenho pior em algumas tarefas do que o treinamento em uma única tarefa
  • O RL multitarefa produz um agente que se adapta a tarefas novas — ele é avaliado em suas tarefas de treinamento; a adaptação rápida a tarefas não vistas é o objetivo do meta-RL
  • O retorno médio entre as tarefas mostra o quão bem a política funciona — uma média alta pode esconder tarefas que a política não aprendeu, por isso o sucesso por tarefa deve ser relatado

Quem deve saber

  • Pesquisadores de aprendizado robótico que constroem políticas generalistas
  • Engenheiros de aprendizado por reforço que treinam com conjuntos de tarefas
  • Engenheiros de manipulação que projetam o condicionamento por tarefa
  • Estudantes que comparam aprendizado multitarefa, meta-aprendizado e aprendizado ao longo da vida

Tecnologias relacionadas

  • Meta-World
  • Destilação de políticas (Policy Distillation)
  • Gradient Surgery (PCGrad)
  • Soft Actor-Critic
  • Embeddings de tarefas (Task Embeddings)

Termos relacionados

  • Meta-Reinforcement Learning
  • Goal-Conditioned Policy
  • Reinforcement Learning
  • Soft Actor-Critic
  • Lifelong Robot Learning
  • Curriculum Learning

Projetos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.