MetaWorld

用於機器人操作的多任務與元強化學習評測基準

授權條款

MIT

概述

專注於連續控制機器人操作任務的開源多任務與元強化學習評測基準。為元學習（ML1、ML10 與 ML45，分別有 1、10 或 45 個訓練任務）與多任務學習（MT10 與 MT50）提供標準化的評估協定。整合 Gymnasium API，並支援平行執行。

MetaWorld 是一套完整的評測基準，用於在連續控制的機器人操作領域評估多任務強化學習與元學習演算法。這套評測基準提供含 1、10 或 45 個訓練任務的元學習協定（ML1、ML10、ML45），以及最多涵蓋全部 50 個任務的多任務協定（MT50），讓研究人員能有系統地研究學習演算法如何隨任務的多樣性與複雜度增加而擴展。MetaWorld 以 Gymnasium API 標準打造，為強化學習實務工作者提供熟悉的介面，同時支援多個環境的高效平行執行。任務組涵蓋多樣的操作基元與情境，讓研究人員有機會研究機器人控制中的泛化、遷移學習與少樣本適應；要部署能應付真實世界多樣操作挑戰、具適應性的機器人系統，這是關鍵能力。

為何重要

MetaWorld 是操作領域中最廣為使用的多任務與元強化學習評測基準。它的 50 任務組已成為評估強化學習演算法能否在多樣操作技能之間學習與遷移的標準方式。

解決的問題

多任務強化學習研究過去缺乏一個任務多樣性足以有意義地評估泛化能力的標準評測基準。MetaWorld 提供 50 個任務與標準化協定，能揭露演算法是否真正學到可遷移的操作技能。

重點

• 50 個不同的操作任務，共用同一套 Sawyer 機器人設定
• 三種評測協定：ML1、ML10、ML45，適用於不同的評估規模
• 專為評估多任務與元學習演算法而設計
• 所有任務的觀測空間與動作空間一致
• 建構在 MuJoCo 之上，模擬快速且可靠

適用對象

• 多任務與元強化學習研究人員
• 開發持續學習演算法的團隊
• 評估任務遷移與泛化的開發者
• 研究操作領域進階強化學習的學生

限制

• 所有任務都使用同一台 Sawyer 機器人，無法進行跨形態評估
• 與真實世界的操作相比，任務定義相對簡單
• 以狀態式觀測為主，以視覺為基礎的評估居次
• 獎勵函數有時可能被鑽漏洞，即使沒有正確完成任務也能得分