MetaWorld

로봇 조작을 위한 멀티태스크 및 메타 RL 벤치마크

라이선스

MIT

개요

연속 제어 로봇 조작 작업에 초점을 맞춘 멀티태스크 및 메타 강화 학습용 오픈소스 벤치마크입니다. 메타 학습(ML1, ML10, ML45: 학습 작업 1개, 10개, 45개)과 멀티태스크 학습(MT10, MT50)을 위한 표준화된 프로토콜을 제공합니다. Gymnasium API와 통합되며 병렬 실행을 지원합니다.

MetaWorld는 연속 제어 로봇 조작 영역에서 멀티태스크 강화 학습과 메타 학습 알고리즘을 평가하기 위해 설계된 종합 벤치마크 모음입니다. 학습 작업이 1개, 10개, 45개인 메타 학습 프로토콜(ML1, ML10, ML45)과 최대 50개 작업 전체를 쓰는 멀티태스크 프로토콜(MT50)을 제공하여, 연구자가 작업의 다양성과 복잡성이 커질 때 학습 알고리즘이 어떻게 확장되는지 체계적으로 연구할 수 있게 합니다. Gymnasium API 표준으로 구축되어 강화 학습 실무자에게 익숙한 인터페이스를 제공하면서, 여러 환경의 효율적인 병렬 실행을 지원합니다. 작업 모음은 다양한 조작 기본 동작과 시나리오를 다루어, 로봇 제어에서 일반화, 전이 학습, 퓨샷 적응을 연구할 기회를 제공합니다. 이는 실제 환경의 다양한 조작 과제에 대처할 수 있는 적응형 로봇 시스템을 배포하는 데 핵심적인 능력입니다.

중요한 이유

MetaWorld는 매니퓰레이션 분야의 멀티태스크 및 메타 강화 학습에서 가장 널리 사용되는 벤치마크입니다. 50개 작업으로 구성된 스위트는 RL 알고리즘이 다양한 매니퓰레이션 기술에 걸쳐 학습하고 전이할 수 있는지 평가하는 표준 방식이 되었습니다.

해결하는 문제

멀티태스크 RL 연구에는 일반화를 의미 있게 평가할 만큼 작업이 다양한 표준 벤치마크가 없었습니다. MetaWorld는 표준화된 프로토콜을 갖춘 50개 작업을 제공하여, 알고리즘이 실제로 전이 가능한 매니퓰레이션 기술을 학습하는지 드러냅니다.

핵심 요점

• 공통 Sawyer 로봇 설정을 공유하는 50개의 서로 다른 매니퓰레이션 작업
• 평가 규모별 세 가지 벤치마크 프로토콜: ML1, ML10, ML45
• 멀티태스크 및 메타 학습 알고리즘 평가를 위해 특별히 설계됨
• 모든 작업에서 일관된 관측 공간과 행동 공간
• 빠르고 안정적인 시뮬레이션을 위해 MuJoCo 기반으로 구축

대상

• 멀티태스크 및 메타 강화 학습 연구자
• 지속 학습 알고리즘을 개발하는 팀
• 작업 전이와 일반화를 평가하는 개발자
• 매니퓰레이션을 위한 고급 RL을 공부하는 학생

한계

• 모든 작업이 같은 Sawyer 로봇을 사용 — 교차 체화(cross-embodiment) 평가 없음
• 실제 매니퓰레이션에 비해 작업 정의가 비교적 단순함
• 상태 기반 관측이 주를 이루며 비전 기반 평가는 부차적임
• 작업을 올바르게 해결하지 않고도 보상 함수를 악용할 수 있는 경우가 있음