Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

LeRobot, 이제 오브젝트 스토리지의 LanceDB 테이블에서 바로 학습한다

  • 출처: Hugging Face and LanceDB
  • 저자: Open Source Robotics
  • 게시일: 2026-09-24
  • 카테고리: research

LeRobot의 데이터셋 계층이 이제 LanceDB 테이블을 네이티브로 읽어, 먼저 내려받는 대신 완전한 전역 셔플을 유지한 채 오브젝트 스토리지에서 스트리밍으로 학습할 수 있다. DROID 전체에서 원격 실행이 로컬 사본보다 33분 빨리 끝났고 손실은 같았다. 이 기능은 LeRobot main 브랜치에 들어갔지만 아직 릴리스에는 없다.

정정 — 2026년 10월 29일. 이 기사의 이전 버전에서는 DROID를 약 2,760만 프레임으로 소개했습니다. 링크된 게시물에는 해당 수치가 나와 있지 않으므로 삭제했습니다.

---

LeRobot은 이제 LanceDB 테이블로 저장된 데이터셋에서 직접 학습할 수 있으며, 데이터셋을 먼저 다운로드하는 대신 객체 스토리지에서 각 배치에 필요한 바이트만 읽어 옵니다. Hugging Face와 LanceDB의 엔지니어들은 9월 24일 이 통합을 소개했는데, 이는 지원 기능 자체가 8월 28일 LeRobot의 main 브랜치에 병합된 지 한 달 만입니다. Lance는 LeRobot의 데이터셋 계층이 네이티브로 읽는 첫 번째 대체 스토리지 형식이며, 기록 코드나 학습 코드는 전혀 바꿀 필요가 없습니다. 기존 lerobot-train 명령을 Lance 테이블로 지정하기만 하면 알맞은 로더를 스스로 선택합니다.

실질적인 효과는 모든 학습 머신에 복사하기에는 너무 큰 데이터셋을 그 자리에 그대로 둘 수 있다는 것입니다. Hugging Face Storage Bucket을 지정했을 때, H100 2장에서 실행한 SmolVLA 학습은 로컬 NVMe 사본에서와 동일하게 버킷에서 초당 212개의 샘플을 처리했으며, 손실 곡선도 동일했습니다. 더 큰 규모의 테스트는 DROID 전체 — 369 GB 분량의 동영상 — 를 원격 객체 저장소에서 읽으며 모든 프레임에 걸쳐 전역 셔플을 수행했습니다. 그 외 조건이 동일한 두 번의 10,000스텝 학습을 H100 8장에서 실행한 결과, LanceDB 실행은 1시간 27분 만에 끝난 반면 표준 리더를 사용한 로컬 사본 기반 실행은 2시간이 걸렸고, 그 로컬 사본은 먼저 384 GB를 다운로드해야 했습니다. 표준 실행은 전체 시간의 37퍼센트를 데이터 대기에 썼고, LanceDB 실행은 2퍼센트 미만이었습니다. 최종 손실은 소수점 넷째 자리까지 일치했습니다.

논지의 나머지 절반은 큐레이션에 관한 것입니다. 학습 데이터가 이미 LanceDB 테이블이므로 임베딩, 파생 점수, 전문(full-text) 인덱스를 트레이너가 읽는 바로 그 행에 열로 둘 수 있고, 따라서 데이터를 검색하고 필터링하기 위해 별도의 벡터 데이터베이스로 내보낼 필요가 없습니다. 저자들은 SigLIP2로 DROID 프레임 610,403개를 임베딩하고, 시각 쿼리와 SQL 쿼리를 결합해 레이블이 없는 행동을 찾아냈습니다 — 여러 가정에서 천이 옮겨지는데도 작업 텍스트에는 전혀 언급되지 않은 프레임들입니다. 에피소드는 테이블에서 바로 Foxglove로 확인할 수 있습니다.

DROID를 한 번 전체 스캔한 결과, 무엇으로 학습하든 알아 둘 만한 세 가지 발견이 나왔습니다. OpenPI의 유휴 필터는 데이터셋의 11.66퍼센트를 제거하며, 그 결과 길이를 계산하지 않고 하드코딩합니다. 기본 80/20 분할은 모든 건물과 모든 데이터 수집자를 학습 세트와 검증 세트 양쪽에 배치하므로 누수가 발생합니다. 그리고 성공한 에피소드가 실패한 에피소드보다 더 끊기는 움직임을 보인 것으로 드러났는데, 이는 흔히 쓰는 부드러움 필터가 좋은 데이터를 버리게 된다는 뜻입니다. 시뮬레이션에서 성공률을 측정할 수 있는 LIBERO에서는 시연 데이터의 30퍼센트를 의도적으로 오염시킨 뒤 세 개의 테이블 쿼리로 이를 제거했더니, 정리되지 않은 세트로 학습한 것보다 더 나은 정책을 얻었습니다.

분명히 해 둘 점이 두 가지 있습니다. 네이티브 리더는 LeRobot의 main 브랜치에는 들어가 있지만 아직 태그가 붙은 릴리스에는 포함되지 않았습니다 — 최신 릴리스인 v0.6.1은 그 이전 버전입니다 — 따라서 현재로서는 소스에서 설치해야 합니다. 또한 데이터를 다시 쓰지 않고 계산된 열을 추가하는 단계는 큐레이션 워크플로의 토대가 되지만, LanceDB Enterprise 기능으로 소개되어 있습니다. LeRobot 자체가 의존하는 것은 오픈소스 리더와 Lance 형식입니다. 저자들은 전체 DROID 테이블에 대해 이러한 쿼리를 실행하는 인터랙티브 데모를 공개했습니다.

중요한 이유

로봇 학습 데이터셋은 이제 모든 학습 머신에 복사해 두는 습관으로는 감당할 수 없을 만큼 커졌다. DROID 하나만 해도 영상이 수백 기가바이트다. GPU 처리량이나 셔플 품질을 잃지 않고 오브젝트 스토리지에서 스트리밍하면 그 복사 단계가 사라지고, 검색·점수·임베딩을 학습기가 읽는 바로 그 테이블에 두면 큐레이션은 내보내기 파이프라인이 아니라 질의 하나가 된다. DROID를 한 번 훑어 얻은 발견 — 누수가 있는 기본 분할, 거꾸로 작동하는 품질 필터 — 은 큐레이션을 싸게 만들 가치가 왜 있는지 보여 준다.

핵심 요점

  • LeRobot이 LanceDB 테이블로 저장된 데이터셋을 네이티브로 읽는다. 기록·학습 코드는 그대로이며 lerobot-train이 로더를 스스로 고른다
  • 학습은 Hugging Face 스토리지 버킷이나 다른 오브젝트 스토리지에서, 모든 프레임에 대한 전역 셔플을 유지하며 내려받기 없이 스트리밍할 수 있다
  • DROID 전체에서 원격 LanceDB 실행은 1시간 27분, 로컬 사본 실행은 2시간이었고, 손실은 같았으며 데이터 대기 시간은 37.4%가 아니라 1.7%였다
  • 임베딩, 점수, 인덱스를 학습 테이블의 열로 둘 수 있어 큐레이션과 발굴이 내보내기가 아니라 질의가 된다
  • DROID를 훑어 기본 학습·검증 분할의 누수와, 좋은 데이터를 걷어 내는 매끄러움 필터를 찾아냈다
  • 기능은 LeRobot main 브랜치에 있지만 아직 태그된 릴리스에는 없고, 큐레이션에 쓰인 열 채우기는 LanceDB Enterprise 기능이다

오픈소스 관점

통합은 LeRobot 본체 안에 있으며, Apache-2.0 라이선스로 8월 28일 main 브랜치에 병합되었고, 그것이 읽는 Lance 형식도 오픈소스다. 눈여겨볼 것은 이것과 LanceDB 상용 제품 사이의 경계다. 테이블을 다시 쓰지 않고 계산된 열을 추가하는 것 — 큐레이션 흐름이 기대는 단계 — 은 LanceDB Enterprise 기능으로 제시된다. Lance 테이블로 학습하고 질의하는 일은 거기에 의존하지 않는다.

관련 기술

  • LeRobot
  • LanceDB
  • Lance
  • SmolVLA
  • DROID
  • Foxglove
  • Hugging Face Storage Buckets

링크

  • 출처: https://huggingface.co/blog/CarolinePascal/how-to-train-your-robot-the-lancedb-edition

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.