MetaWorld

ロボット操作のためのマルチタスクおよびメタRLベンチマーク

ライセンス

MIT

概要

連続制御のロボットマニピュレーションタスクに焦点を当てた、マルチタスク強化学習とメタ強化学習のためのオープンソースベンチマーク。メタ学習（ML1、ML10、ML45。訓練タスクはそれぞれ 1、10、45）とマルチタスク学習（MT10、MT50）の標準化されたプロトコルを提供します。Gymnasium API と統合されており、並列実行に対応しています。

MetaWorld は、連続制御のロボットマニピュレーション領域で、マルチタスク強化学習とメタ学習のアルゴリズムを評価するために設計された包括的なベンチマークスイートです。訓練タスクが 1、10、45 のメタ学習プロトコル（ML1、ML10、ML45）と、全 50 タスクまでのマルチタスクプロトコル（MT50）を備え、タスクの多様性と複雑さが増すにつれて学習アルゴリズムがどうスケールするかを研究者が体系的に調べられます。Gymnasium API 標準で構築されているため、強化学習の実践者になじみのあるインターフェースを提供しつつ、複数環境の効率的な並列実行にも対応します。タスクスイートは多様なマニピュレーションのプリミティブとシナリオを網羅しており、ロボット制御における汎化、転移学習、少数ショット適応を研究する機会を生み出します。これは、実世界のマニピュレーションの多様な課題に対応できる適応的なロボットシステムを展開するうえで重要な能力です。

重要な理由

MetaWorld は、マニピュレーションにおけるマルチタスク強化学習およびメタ強化学習で最も広く使われているベンチマークです。50タスクのスイートは、RLアルゴリズムが多様なマニピュレーションスキルにわたって学習・転移できるかを評価する標準的な方法となっています。

解決する課題

マルチタスクRLの研究には、汎化を有意義に評価できるだけのタスクの多様性を備えた標準ベンチマークがありませんでした。MetaWorld は、標準化されたプロトコルを備えた50のタスクを提供し、アルゴリズムが本当に転移可能なマニピュレーションスキルを学習しているかを明らかにします。

主なポイント

共通の Sawyer ロボット構成を用いる50の異なるマニピュレーションタスク
評価規模に応じた3つのベンチマークプロトコル：ML1、ML10、ML45
マルチタスク学習とメタ学習のアルゴリズム評価のために特別に設計
すべてのタスクで一貫した観測空間と行動空間
高速で信頼性の高いシミュレーションのため MuJoCo 上に構築

対象

マルチタスク強化学習とメタ強化学習の研究者
継続学習アルゴリズムを開発するチーム
タスク転移と汎化を評価する開発者
マニピュレーションのための高度なRLを学ぶ学生

制限事項

すべてのタスクで同じ Sawyer ロボットを使用 — クロスエンボディメント評価はない
タスクの定義は実世界のマニピュレーションと比べて比較的単純
状態ベースの観測が中心 — 視覚ベースの評価は副次的
タスクを正しく解かなくても報酬関数を悪用できてしまう場合がある