MetaWorld

Benchmark de RL multi-tarefa e meta para manipulação robótica

Licença

MIT

Visão geral

Um benchmark de código aberto para aprendizado por reforço multitarefa e meta-aprendizado, focado em tarefas de manipulação robótica com controle contínuo. Oferece protocolos padronizados para meta-aprendizado (ML1, ML10 e ML45, com 1, 10 ou 45 tarefas de treinamento) e aprendizado multitarefa (MT10 e MT50). Integra-se à API Gymnasium e suporta execução paralela.

O MetaWorld é um conjunto abrangente de benchmarks projetado para avaliar algoritmos de aprendizado por reforço multitarefa e de meta-aprendizado em domínios de manipulação robótica com controle contínuo. O benchmark oferece protocolos de meta-aprendizado com 1, 10 ou 45 tarefas de treinamento (ML1, ML10, ML45) e protocolos multitarefa de até todas as 50 tarefas (MT50), permitindo que pesquisadores estudem sistematicamente como os algoritmos de aprendizado escalam com o aumento da diversidade e da complexidade das tarefas. Construído com o padrão da API Gymnasium, o MetaWorld oferece interfaces familiares para quem trabalha com RL e suporta execução paralela eficiente de vários ambientes. O conjunto de tarefas cobre uma ampla gama de primitivas e cenários de manipulação, criando oportunidades para estudar generalização, aprendizado por transferência e adaptação few-shot no controle robótico, uma capacidade crítica para implantar sistemas robóticos adaptáveis que consigam lidar com a diversidade dos desafios de manipulação do mundo real.

Por que importa

O MetaWorld é o benchmark mais usado para aprendizado por reforço multitarefa e meta-aprendizado por reforço em manipulação. Seu conjunto de 50 tarefas tornou-se a forma padrão de avaliar se algoritmos de RL conseguem aprender e transferir conhecimento entre habilidades de manipulação diversas.

Problema que resolve

A pesquisa em RL multitarefa não tinha um benchmark padrão com diversidade de tarefas suficiente para avaliar a generalização de forma significativa. O MetaWorld oferece 50 tarefas com protocolos padronizados que revelam se os algoritmos realmente aprendem habilidades de manipulação transferíveis.

Pontos principais

• 50 tarefas de manipulação distintas que compartilham uma configuração comum com o robô Sawyer
• Três protocolos de benchmark: ML1, ML10 e ML45 para diferentes escalas de avaliação
• Projetado especificamente para avaliar algoritmos multitarefa e de meta-aprendizado
• Espaços de observação e de ação consistentes em todas as tarefas
• Construído sobre o MuJoCo para uma simulação rápida e confiável

Para quem é

• Pesquisadores em aprendizado por reforço multitarefa e meta-aprendizado por reforço
• Equipes que desenvolvem algoritmos de aprendizado contínuo
• Desenvolvedores que avaliam transferência entre tarefas e generalização
• Estudantes que estudam RL avançado para manipulação

Limitações

• Todas as tarefas usam o mesmo robô Sawyer — sem avaliação entre diferentes embodiments
• As definições das tarefas são relativamente simples em comparação com a manipulação no mundo real
• Predominam observações baseadas em estado — a avaliação baseada em visão é secundária
• As funções de recompensa às vezes podem ser exploradas sem que as tarefas sejam resolvidas corretamente