MetaWorld

用于机器人操作的多任务和元强化学习基准

许可证

MIT

概述

一个开源基准，面向多任务强化学习和元强化学习，聚焦连续控制的机器人操作任务。提供标准化的元学习协议（ML1、ML10 和 ML45，分别含 1、10 或 45 个训练任务）和多任务学习协议（MT10 和 MT50）。与 Gymnasium API 集成，并支持并行执行。

MetaWorld 是一套全面的基准套件，用于在连续控制的机器人操作领域评估多任务强化学习和元学习算法。该基准提供含 1、10 或 45 个训练任务的元学习协议（ML1、ML10、ML45），以及最多涵盖全部 50 个任务的多任务协议（MT50），使研究人员能够系统地研究学习算法如何随任务多样性和复杂度的增加而扩展。MetaWorld 遵循 Gymnasium API 标准构建，为强化学习从业者提供熟悉的接口，同时支持多个环境的高效并行执行。任务套件涵盖多种多样的操作基本动作和场景，为研究机器人控制中的泛化、迁移学习和小样本适应创造了条件——要部署能够应对真实世界多样操作挑战的自适应机器人系统，这是一项关键能力。

为何重要

MetaWorld 是操作领域中使用最广泛的多任务和元强化学习基准。其 50 个任务的套件已成为评估强化学习算法能否在多样化操作技能之间学习和迁移的标准方式。

解决的问题

多任务强化学习研究一直缺少一个任务足够多样、能够有效评估泛化能力的标准基准。MetaWorld 提供 50 个任务和标准化协议，能够揭示算法是否真正学到了可迁移的操作技能。

要点

50 个不同的操作任务，共用同一套 Sawyer 机器人设置
三种基准协议：ML1、ML10、ML45，对应不同的评估规模
专为评估多任务和元学习算法而设计
所有任务的观测空间和动作空间保持一致
基于 MuJoCo 构建，仿真快速可靠

适用人群

从事多任务和元强化学习的研究人员
开发持续学习算法的团队
评估任务迁移和泛化能力的开发者
学习用于操作的高级强化学习的学生

局限

所有任务都使用同一台 Sawyer 机器人——无法进行跨具身评估
与真实世界的操作相比，任务定义相对简单
以基于状态的观测为主——基于视觉的评估处于次要地位
奖励函数有时可能被利用，而任务并未被正确完成