Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

FiftyOne, 이제 LeRobot 데이터셋을 직접 읽고 에피소드 전체를 검색한다

  • 출처: Voxel51 and Hugging Face
  • 저자: Open Source Robotics
  • 게시일: 2026-10-05
  • 카테고리: research

Voxel51의 오픈소스 데이터셋 큐레이션 도구 FiftyOne이 LeRobot v3 데이터셋을 변환하거나 영상을 복사하지 않고 바로 엽니다. 각 에피소드는 카메라, 상태, 행동을 동기화해 재생할 수 있고, 필터링하거나 텍스트와 유사도로 검색한 뒤 새 LeRobot 데이터셋으로 내보낼 수 있습니다. v3만 지원하며, 로더는 FiftyOne 1.22.0에 포함되었습니다.

Voxel51의 오픈소스 데이터셋 큐레이션 도구 FiftyOne이 이제 LeRobot v3 데이터셋을 있는 그대로 엽니다. 데이터셋 폴더를 지정하면 에피소드 하나하나가 재생, 필터링, 검색이 가능한 샘플이 되며, 형식 변환이 필요 없고 어떤 영상도 다시 인코딩하거나 복사하지 않습니다. Voxel51과 Hugging Face의 엔지니어들이 10월 5일에 이 지원을 소개했습니다. 로더 자체는 9월 12일 FiftyOne 1.22.0에 포함되었고, 릴리스 노트에는 새 LeRobotDataset 타입과 에피소드 뷰어로 올라 있습니다.

에피소드는 어떻게 보이나

가져올 때는 데이터셋의 메타데이터 파일만 읽습니다. 각 샘플은 포인터입니다. 해당 에피소드의 상태와 행동이 담긴 Parquet 파일의 행, 그리고 카메라별 MP4의 해당 시간 구간을 가리킵니다. 앱에서는 카메라마다 타일이 하나씩 생기고, 'State & Action' 타일이 각 관절의 값을 프레임 단위로 영상에 맞춰 보여 줍니다. 에피소드의 로봇 종류, 작업, 길이, 프레임 속도는 일반 필드가 되므로 "10초가 넘는 모든 SO-101 에피소드"는 스크립트가 아니라 필터로 해결됩니다. 가져오기와 필드는 FiftyOne 문서에 설명되어 있습니다.

실제 예제

이번 발표에는 497개 에피소드로 된 예제 데이터셋이 함께 나왔습니다. LeRobot Community Dataset v3에서 잘라 낸 것으로, 로봇 종류 50가지에서 각각 약 10개 에피소드를 담았습니다. 모든 에피소드에는 Qwen3-VL-Embedding-2B로 만든 영상 임베딩이 붙어 있으며, 일정한 간격으로 뽑은 최대 32개 프레임에서 계산됩니다. 큐레이션 기능은 여기에 기반합니다. 텍스트 설명으로 에피소드를 검색하고, 고른 에피소드와 가장 비슷한 에피소드를 찾고, 각 에피소드가 얼마나 드문지 또는 얼마나 전형적인지 점수를 매겨 학습 전에 거의 중복된 데이터와 이상치를 찾아낼 수 있습니다.

데이터를 다시 꺼내기

필터링한 선택은 세 가지 방법으로 학습에 전달됩니다. 포인터를 통해 행을 제자리에서 읽거나, 고른 에피소드 번호를 LeRobot의 LeRobotDataset 로더에 넘기거나, 선택한 부분을 독립된 새 LeRobot v3 데이터셋으로 내보내는 것입니다. 데이터를 복사하는 것은 내보내기뿐입니다.

먼저 확인할 것

- LeRobot v3만 읽습니다. 이전 형식의 데이터셋은 LeRobot의 도구로 먼저 변환해야 합니다. - 샘플은 원본 파일을 가리키므로, 데이터셋을 옮기거나 수정했다면 다시 가져와야 합니다. - 에피소드 번호는 원본 데이터셋마다 0부터 다시 시작합니다. 여러 데이터셋을 함께 불러올 때는 내보내거나 학습하기 전에 데이터셋 이름으로 필터링하고, 스키마가 서로 다르므로 원본 데이터셋을 하나씩 내보내야 합니다. - Hugging Face Hub에서 LeRobot 데이터셋을 바로 불러오려면 수정 사항이 필요한데, 이는 최신 릴리스(1.22.1) 이후인 10월 5일에 병합되었습니다. 다음 버전이 나올 때까지는 로컬 폴더를 쓰는 것이 안전합니다.

중요한 이유

로봇 학습 데이터셋은 대부분 크기로 평가됩니다. 안을 들여다보는 일이 느리기 때문입니다. 에피소드는 수천 개이고 각각 카메라가 여러 대인데, 어떤 것이 거의 같은 내용인지, 어떤 것이 손상되었는지, 어떤 것이 드문 장면을 담고 있는지 빠르게 확인할 방법이 없습니다. LeRobot 형식을 제자리에서 읽고, 어떤 에피소드든 관절 값과 함께 재생하며, 전형적인지 드문지에 따라 에피소드의 순위를 매기는 도구가 있으면 학습할 때마다 점검할 수 있을 만큼 비용이 낮아집니다. 저가 로봇 팔로 기록한 커뮤니티 데이터셋도 이미지 데이터셋이 여러 해 동안 써 온 큐레이션 도구를 쓸 수 있게 됩니다.

핵심 요점

  • FiftyOne 1.22.0 이상은 호출 한 번으로 LeRobot v3 데이터셋을 불러오며, 가져올 때 변환, 재인코딩, 복사가 없습니다
  • 에피소드 하나가 샘플 하나입니다. 카메라마다 타일에서 재생되고 관절 상태와 행동이 영상에 맞춰 프레임 단위로 표시됩니다
  • 로봇 종류, 작업, 길이, 프레임 속도는 조회할 수 있는 필드이므로 에피소드 선택은 스크립트가 아니라 필터로 합니다
  • 영상 임베딩을 더하면 텍스트로 에피소드를 검색하고, 비슷한 에피소드를 찾고, 드문 정도와 전형적인 정도를 점수로 매길 수 있습니다
  • 선택한 데이터는 제자리에서 읽거나, LeRobot의 로더를 쓰거나, LeRobot v3 데이터셋으로 내보내 학습에 되돌릴 수 있습니다
  • v3만 지원하며, Hugging Face Hub에서 불러오려면 1.22.1 릴리스 이후에 병합된 수정 사항이 필요합니다

오픈소스 관점

FiftyOne은 Apache-2.0 라이선스의 오픈소스이며, LeRobot 지원은 이 오픈소스 패키지에 들어 있고 Voxel51의 상용 제품인 FiftyOne Enterprise 뒤에 있지 않습니다. 예제 데이터셋은 Apache-2.0으로 Hugging Face Hub에 공개되어 있으며 LeRobot 커뮤니티가 기여한 기록을 바탕으로 합니다. 다만 릴리스 노트는 클라우드 스토리지에서 LeRobot 데이터셋을 불러오는 기능을 따로 적고 있습니다. 이를 전제로 계획하기 전에 Enterprise 기능 목록과 대조해 확인해야 할 부분입니다.

관련 기술

  • FiftyOne
  • LeRobot
  • LeRobot dataset v3
  • Qwen3-VL-Embedding
  • Parquet
  • Hugging Face Hub

관련 프로젝트

  • LeRobot

링크

  • 출처: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.