Robo-DM: Data Management For Large Robot Datasets

저자: Kaiyuan Chen, Letian Fu, David Huang, Yanxiang Zhang, Lawrence Yunliang Chen, Huang Huang, Kush Hari, Ashwin Balakrishna, Ted Xiao, Pannag R Sanketi, John Kubiatowicz, Ken Goldberg · ICRA 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

Robo-DM은 각 로봇 에피소드의 영상, 언어, 행동 스트림을 타임스탬프가 붙은 하나의 EBML 파일에 저장하여, RLDS 대비 크기를 최대 70x 줄이고 LeRobot보다 빠르게 로드한다.

중요한 이유

데이터셋 크기는 호스트의 다운로드 비용과 학습 작업이 데이터를 기다리는 시간을 모두 좌우하므로, 빠르게 로드되는 더 작은 파일은 대규모 로봇 데이터셋을 공유하고 사용하는 비용을 낮춘다. Octo와 ICRT 실험에서 이 정도 비율의 손실 영상 압축은 검증 손실을 2.6% 바꾸었으며, 정책이 15회의 물리적 집어 옮기기 시행을 모두 완수하는 것을 막지 않았다.

문제

Open X-Embodiment 같은 대규모 원격 조작 로봇 데이터셋은 공유 비용이 크고 로드가 느리다. Google Cloud에 8.9 TB를 저장하는 데는 월 172 USD가 들지만, 전체 다운로드 한 번마다 호스트는 172~1,540 USD를 부담한다. 기존 형식은 이미지를 행렬로 저장하거나(RLDS, HDF5) — 무손실이지만 공간 효율적이지 않다 — 프레임워크별 정렬 가정을 둔 채 스트림을 여러 파일에 흩어 놓아(LeRobot) 로드를 복잡하게 하고 디코딩을 느리게 한다.

제안 방법

Robo-DM은 MKV 영상의 바탕이 되는 컨테이너인 Extensible Binary Meta Language(EBML)를 확장하여, 한 에피소드의 모든 시각, 언어, 행동 스트림을 하나의 자체 완결형 파일에 저장하며, 각 패킷에는 에피소드 시작 기준의 타임스탬프가 붙는다. 데이터는 원시 형태로 기록되고 수집 후 손실(예: AV1) 또는 무손실(FFV1) 코덱으로 트랜스코딩된다. 학습 시에는 부하 분산기가 영상 디코딩과 디코딩된 프레임의 메모리 매핑 캐시 읽기 중에서 선택한다. ROS 2(rosbag, rviz, Foxglove), TensorFlow, PyTorch와 함께 작동하며, HDF5와 RLDS로 내보낼 수 있다.

핵심 통찰

저자들이 밝히듯, 크기 감소의 대부분은 카메라 스트림의 영상 압축에서 나온다.
모든 스트림을 타임스탬프가 붙은 하나의 컨테이너에 담으면 서로 다른 속도로 기록된 스트림을 정렬하기 위한 휴리스틱이 필요 없다.
압축을 수집 이후로 미루면 트랜스코딩이 데이터 수집을 방해하지 않는다.
작은 에피소드는 이득이 적다. RT-1은 RLDS에서 궤적당 평균 1.51 MB이며, Robo-DM의 탐색 및 디코딩 메타데이터 때문에 감소율이 4.39x로 제한된다.

주요 결과

원본 RLDS 파일 대비 손실 Robo-DM(Table I): Bridge 387.49 GB에서 5.31 GB(73x), Cable Routing 4.67 GB에서 0.26 GB(18x), Door Opening 7.12 GB에서 0.10 GB(71x), AutoLab UR5 76.39 GB에서 3.26 GB(23x). 본문은 이를 18x, 73x, 23x, 73x로 제시하며, 초록은 손실 최대 70x, 무손실 3.5x라고 밝힌다.
세 개의 OXE 데이터셋에서의 로드 처리량(Fig. 4): LeRobot보다 33x, 20x, 5x 빨랐으며, 무손실 버전은 손실 버전에 가까웠다. 초록은 순차 디코딩 시 LeRobot보다 최대 50x 빠르다고 밝힌다. HDF5는 데이터가 압축되지 않았기 때문에 Robo-DM보다 빨랐다.
RT-1에서의 Octo-small 미세 조정(111.06 GB에서 36.50 GB, 4.39x): 배치 크기 64에서 반복당 데이터 로드 0.02 s, 학습 0.10 s로 TensorFlow 로더와 같았다. 검증 MSE는 무손실 데이터에서 1.86, 손실 데이터에서 1.91로 2.6% 증가했다.
서론은 Octo 미세 조정에서 Robo-DM이 작은 배치 크기에서는 3.0x 빠르게 로드하고 큰 배치 크기에서는 속도 저하를 더하지 않는다고 보고한다.
Franka 팔에서의 ICRT, 77 MB 손실(gzip HDF5 5.8 GB 대비 75.3x) 또는 1.7 GB 무손실(3.41x)로 저장된 335개 시연으로 학습: 손실 데이터로 학습한 모델로 집어 옮기기 시행 15회 중 15회가 성공했다.

한계

RAM을 디코딩 캐시로 쓰면 메모리 사용량이 늘고, 에피소드당 데이터가 클 때 처리량이 낮아질 수 있다. Bridge에서는 배치 크기가 커질수록 처리량이 떨어졌으며, 에피소드당 프레임 하나만 샘플링하는 것은 더 느릴 수 있다(저자들이 명시).
디코딩은 GPU 가속 없이 CPU에서 PyAV를 사용했다. 저자들은 Decord와 NVIDIA NVDEC를 향후 과제를 위한 더 빠른 선택지로 꼽는다.
작은 에피소드는 파일별 탐색 및 디코딩 메타데이터 때문에 덜 압축된다(RT-1에서 4.39x).
물리적 검증은 손실 데이터로 학습한 모델의 15회 시행으로 이루어진 집어 옮기기 작업 하나이며, 비압축 데이터로 학습한 대응 모델은 없다.
LeRobot의 변환은 깊이 스트림과 일부 행동 스트림을 버리므로, AutoLab UR5에 대한 LeRobot 크기 수치는 없다.

분야에 미친 영향

IEEE ICRA 2025 Best Paper Award on Robot Learning을 수상했으며 인용 수는 5회다. 저자들은 Robo-DM을 오픈 소스로 공개하며, 코드와 평가 스크립트는 github.com/BerkeleyAutomation/fog_x 에 있다.

초록

최근 결과는 원격 조작으로 수집한 로봇 시연의 초대규모 데이터셋으로 새로운 장면, 로봇, 작업에 일반화할 잠재력이 있는 트랜스포머 기반 모델을 학습할 수 있음을 시사한다. 그러나 일반적으로 여러 카메라의 스트림을 포함해 영상, 텍스트, 수치 모달리티로 이루어진 로봇 궤적의 대규모 데이터셋을 큐레이션하고, 배포하고, 로드하는 일은 여전히 어렵다. 우리는 로봇 데이터를 수집하고, 공유하고, 이를 이용해 학습하기 위한 효율적인 오픈 소스 클라우드 기반 데이터 관리 툴킷인 Robo-DM을 제안한다. Robo-DM에서 로봇 데이터셋은 Extensible Binary Meta Language(EBML)를 사용한 자체 완결형 형식으로 저장된다. Robo-DM은 로봇 궤적 데이터의 크기, 전송 비용, 학습 중 데이터 로드 시간을 크게 줄일 수 있다. OXE 데이터셋에서 사용하는 RLDS 형식과 비교하여, Robo-DM의 압축은 최대 70x(손실) 및 3.5x(무손실)만큼 공간을 절약한다. Robo-DM은 또한 메모리 매핑된 디코딩 캐시로 영상 디코딩의 부하를 분산하여 데이터 검색을 가속한다. 역시 손실 영상 압축을 사용하는 프레임워크인 LeRobot과 비교하여, Robo-DM은 순차 디코딩 시 최대 50x 더 빠르다. 우리는 손실 압축을 적용한 Robo-DM으로 학습한 모델, 집어 옮기기 작업, In-Context Robot Transformer를 물리적으로 평가한다. Robo-DM은 원본 데이터셋을 75x 압축하면서도 다운스트림 작업 정확도가 떨어지지 않는다. 코드와 평가 스크립트는 웹사이트 https://github.com/BerkeleyAutomation/fog_x 에서 찾을 수 있다.

링크

arXiv 2505.15558: https://arxiv.org/abs/2505.15558
DOI 10.1109/ICRA55743.2025.11128693: https://doi.org/10.1109/ICRA55743.2025.11128693
PDF: https://arxiv.org/pdf/2505.15558v1
코드: https://github.com/BerkeleyAutomation/fog_x