MetaWorld

Benchmark RL multi-tâches et méta pour la manipulation robotique

Licence

MIT

Aperçu

Un benchmark open source pour l'apprentissage par renforcement multitâche et le méta-apprentissage par renforcement, centré sur des tâches de manipulation robotique en commande continue. Il fournit des protocoles standardisés pour le méta-apprentissage (ML1, ML10 et ML45, avec 1, 10 ou 45 tâches d'entraînement) et l'apprentissage multitâche (MT10 et MT50). Il s'intègre à l'API Gymnasium et prend en charge l'exécution parallèle.

MetaWorld est une suite de benchmarks complète conçue pour évaluer les algorithmes d'apprentissage par renforcement multitâche et de méta-apprentissage dans des domaines de manipulation robotique en commande continue. Le benchmark propose des protocoles de méta-apprentissage avec 1, 10 ou 45 tâches d'entraînement (ML1, ML10, ML45) et des protocoles multitâches allant jusqu'à l'ensemble des 50 tâches (MT50), ce qui permet aux chercheurs d'étudier de manière systématique comment les algorithmes d'apprentissage passent à l'échelle avec une diversité et une complexité de tâches croissantes. Construit selon le standard de l'API Gymnasium, MetaWorld offre des interfaces familières aux praticiens du RL tout en prenant en charge l'exécution parallèle efficace de plusieurs environnements. La suite de tâches couvre un large éventail de primitives et de scénarios de manipulation, ce qui permet d'étudier la généralisation, l'apprentissage par transfert et l'adaptation à partir de peu d'exemples dans la commande robotique, une capacité essentielle pour déployer des systèmes robotiques adaptables capables de faire face à la diversité des défis de manipulation du monde réel.

Pourquoi c'est important

MetaWorld est le benchmark le plus utilisé pour l'apprentissage par renforcement multitâche et le méta-apprentissage par renforcement en manipulation. Sa suite de 50 tâches est devenue la référence pour évaluer si les algorithmes de RL peuvent apprendre et transférer leurs acquis entre des compétences de manipulation variées.

Le problème résolu

La recherche en RL multitâche manquait d'un benchmark standard offrant une diversité de tâches suffisante pour évaluer la généralisation de manière pertinente. MetaWorld fournit 50 tâches avec des protocoles standardisés qui révèlent si les algorithmes apprennent réellement des compétences de manipulation transférables.

Points clés

• 50 tâches de manipulation distinctes partageant une configuration commune avec le robot Sawyer
• Trois protocoles de benchmark : ML1, ML10, ML45 pour différentes échelles d'évaluation
• Conçu spécifiquement pour l'évaluation d'algorithmes multitâches et de méta-apprentissage
• Espaces d'observation et d'action cohérents pour toutes les tâches
• Construit sur MuJoCo pour une simulation rapide et fiable

Pour qui

• Chercheurs en apprentissage par renforcement multitâche et en méta-apprentissage par renforcement
• Équipes qui développent des algorithmes d'apprentissage continu
• Développeurs qui évaluent le transfert entre tâches et la généralisation
• Étudiants qui étudient le RL avancé pour la manipulation

Limites

• Toutes les tâches utilisent le même robot Sawyer — aucune évaluation inter-incarnations
• Les définitions des tâches sont relativement simples par rapport à la manipulation dans le monde réel
• Les observations basées sur l'état prédominent — l'évaluation fondée sur la vision est secondaire
• Les fonctions de récompense peuvent parfois être exploitées sans que les tâches soient correctement résolues