로보틱스 벤치마크 모음
RLBench, MetaWorld, LIBERO, CALVIN 등 대표적인 로봇 학습 벤치마크입니다. 과제, 시뮬레이터, 평가 프로토콜을 비교해 보세요.
벤치마크
- RoboDojo: RoboDojo는 MIT 라이선스 조작 벤치마크다. 42개의 Isaac Sim 과제와 18개의 실제 로봇 과제를 갖췄고, XPolicyLab이 40개가 넘는 정책을 한 인터페이스로 묶는다.
- Inspect Robots: Inspect Robots는 피지컬 AI를 위한 MIT 라이선스 평가 도구다. 벤치마크를 한 번 정의하면 어떤 LLM 에이전트나 VLA든 실제 팔, 휴머노이드, 시뮬레이터에서 돌릴 수 있다.
- safe-control-gym: safe-control-gym은 안전 학습 기반 제어와 safe RL을 벤치마크합니다: 심볼릭 동역학, 제약, 외란을 갖춘 카트폴 및 쿼드로터 태스크.
- Gymnasium-Robotics: Gymnasium-Robotics는 Farama Foundation의 표준 로보틱스 강화학습 벤치마크 스위트로, OpenAI Gym 로보틱스 환경의 후속 프로젝트입니다.
- SimplerEnv: SimplerEnv는 물리적 하드웨어 없이 시뮬레이션에서 실세계 로봇 조작 정책을 평가하는 오픈소스 프레임워크로 확장 가능한 평가를 지원합니다.
- MetaWorld: MetaWorld는 표준화된 로봇 조작 작업과 평가 프로토콜을 갖춘 멀티태스크 및 메타 강화 학습을 위한 오픈소스 벤치마크입니다.
- CALVIN: CALVIN은 장기간 언어 조건 조작 작업을 위한 로봇 에이전트 학습용 오픈소스 벤치마크입니다. IEEE RA-L 2022 최우수 논문상 수상작입니다.
- RLBench: RLBench는 RL, 모방 학습, 멀티태스크 학습을 지원하는 비전 기반 로봇 조작 연구를 위한 100개 이상의 작업을 갖춘 대규모 벤치마크입니다.
- LIBERO: LIBERO는 MuJoCo의 조작, 공간, 오브젝트, 목표 도메인에 걸쳐 130개의 절차적으로 생성된 작업을 갖춘 평생 로봇 학습 벤치마크입니다.