Open X-Embodiment (OXE)

최대 오픈 로보틱스 데이터셋: 22종 형태에서 100만+ 에피소드

라이선스

CC-BY-4.0

개요

전 세계 34개 연구실에서 수집한 22종 로봇 형태의 100만 이상 로봇 에피소드를 포함하는 최대 오픈소스 로보틱스 데이터셋. 범용 로봇 정책 훈련을 위한 527개 기술을 다루는 60개 데이터셋 포함.

Open X-Embodiment는 공개적으로 이용 가능한 가장 큰 로봇 데이터셋으로, 전 세계 34개 연구 기관에서 22가지 서로 다른 로봇 형태(embodiment)로 수집한 100만 개 이상의 실제 로봇 조작 에피소드를 집계합니다. 이 데이터셋은 527가지 조작 기술에 걸친 60개의 개별 데이터셋을 포함하며, 로봇 형태, 작업, 운용 조건 면에서 전례 없는 다양성을 제공합니다. 이 방대한 컬렉션은 여러 로봇 유형의 데이터로 학습한 정책이 새로운 플랫폼과 작업으로 일반화될 수 있는 교차 형태(cross-embodiment) 학습 연구를 가능하게 합니다. 표준화된 데이터 형식은 로봇 공학용 파운데이션 모델의 대규모 사전 학습을 용이하게 하여 범용 조작 시스템 연구를 지원합니다. 수십 개 연구실의 기여를 하나의 통합 리소스로 결합함으로써, Open X-Embodiment는 그동안 로봇 머신러닝 연구를 제약해 온 데이터 부족 문제를 해결합니다.

중요한 이유

Open X-Embodiment는 로봇 데이터 수집 분야에서 가장 큰 규모의 협업 프로젝트로, 34개 연구실이 함께 범용 로봇 정책 학습을 가능하게 하는 데이터셋을 구축했습니다. 이 프로젝트는 크로스 임바디먼트 학습이 단일 데이터셋 정책보다 성능을 향상시킬 수 있음을 입증했습니다.

해결하는 문제

개별 로봇 연구실은 특정 로봇에서 소규모 데이터셋을 수집하기 때문에 범용 정책을 학습하는 것이 불가능합니다. OXE는 다양한 조작 데이터를 전례 없는 규모로 집계하여, 교차 형태 학습이 서로 다른 로봇 형태 간에 지식을 전이한다는 것을 입증합니다.

핵심 요점

• 22가지 서로 다른 로봇 형태에서 수집한 100만 개 이상의 실제 로봇 에피소드
• 전 세계 34개 연구 기관에서 수집, 527가지 기술 포괄
• OXE로 학습한 RT-X 모델이 단일 데이터셋 전용 모델보다 우수한 성능
• 표준화된 데이터 형식(RLDS)으로 새 데이터셋을 쉽게 통합 가능
• Google DeepMind RT-2-X 범용 정책의 기반

대상

• 파운데이션 모델을 학습하는 로봇 연구자
• 범용 조작 정책을 구축하는 연구실
• VLA(Vision-Language-Action) 모델을 개발하는 팀
• 단일 작업 데모를 넘어 로봇 학습을 확장하는 기업

한계

• 테이블 위 조작 작업에 크게 편중됨
• 기여 연구실마다 데이터 품질과 레이블링 일관성이 다름
• 전체 데이터셋으로 학습하려면 상당한 컴퓨팅 자원이 필요
• 실제 환경으로의 전이에는 여전히 로봇별 도메인 적응이 필요