MetaWorld

Benchmark de RL multi-tarea y meta para manipulación robótica

Licencia

MIT

Resumen

Un benchmark de código abierto para aprendizaje por refuerzo multitarea y meta-aprendizaje por refuerzo, centrado en tareas de manipulación robótica de control continuo. Ofrece protocolos estandarizados para meta-aprendizaje (ML1, ML10 y ML45, con 1, 10 o 45 tareas de entrenamiento) y aprendizaje multitarea (MT10 y MT50). Se integra con la API de Gymnasium y admite ejecución en paralelo.

MetaWorld es un completo conjunto de benchmarks diseñado para evaluar algoritmos de aprendizaje por refuerzo multitarea y de meta-aprendizaje en dominios de manipulación robótica de control continuo. El benchmark ofrece protocolos de meta-aprendizaje con 1, 10 o 45 tareas de entrenamiento (ML1, ML10, ML45) y protocolos multitarea de hasta las 50 tareas (MT50), lo que permite a los investigadores estudiar de forma sistemática cómo escalan los algoritmos de aprendizaje a medida que aumentan la diversidad y la complejidad de las tareas. Construido con el estándar de API de Gymnasium, MetaWorld ofrece interfaces familiares para los profesionales del RL y admite la ejecución eficiente en paralelo de múltiples entornos. El conjunto de tareas abarca una amplia gama de primitivas y escenarios de manipulación, lo que abre oportunidades para estudiar la generalización, el aprendizaje por transferencia y la adaptación con pocos ejemplos en el control robótico, una capacidad crítica para desplegar sistemas robóticos adaptables que puedan afrontar la diversidad de los desafíos de manipulación del mundo real.

Por qué importa

MetaWorld es el benchmark más utilizado para el aprendizaje por refuerzo multitarea y meta en manipulación. Su conjunto de 50 tareas se ha convertido en la forma estándar de evaluar si los algoritmos de RL pueden aprender y transferir conocimiento entre habilidades de manipulación diversas.

Qué problema resuelve

La investigación en RL multitarea carecía de un benchmark estándar con suficiente diversidad de tareas para evaluar la generalización de forma significativa. MetaWorld ofrece 50 tareas con protocolos estandarizados que revelan si los algoritmos aprenden realmente habilidades de manipulación transferibles.

Puntos clave

• 50 tareas de manipulación distintas que comparten una configuración común con el robot Sawyer
• Tres protocolos de benchmark: ML1, ML10 y ML45 para distintas escalas de evaluación
• Diseñado específicamente para evaluar algoritmos multitarea y de metaaprendizaje
• Espacios de observación y de acción coherentes en todas las tareas
• Construido sobre MuJoCo para una simulación rápida y fiable

Para quién es

• Investigadores en aprendizaje por refuerzo multitarea y meta
• Equipos que desarrollan algoritmos de aprendizaje continuo
• Desarrolladores que evalúan la transferencia entre tareas y la generalización
• Estudiantes que estudian RL avanzado para manipulación

Limitaciones

• Todas las tareas usan el mismo robot Sawyer — sin evaluación entre distintas encarnaciones
• Las definiciones de las tareas son relativamente simples en comparación con la manipulación del mundo real
• Predominan las observaciones basadas en el estado — la evaluación basada en visión es secundaria
• A veces las funciones de recompensa pueden explotarse sin resolver correctamente las tareas