Robo-DM: Data Management For Large Robot Datasets
作者: Kaiyuan Chen, Letian Fu, David Huang, Yanxiang Zhang, Lawrence Yunliang Chen, Huang Huang, Kush Hari, Ashwin Balakrishna, Ted Xiao, Pannag R Sanketi, John Kubiatowicz, Ken Goldberg · ICRA 2025
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
Robo-DM 將每個機器人回合的影片、語言與動作串流存放在一個帶時間戳記的 EBML 檔案中，相較於 RLDS 最多縮小 70x，載入速度也比 LeRobot 更快。
為何重要
資料集的大小既決定託管方的下載費用，也決定訓練工作要等待資料多久，因此較小且載入快速的檔案，能降低分享與使用大型機器人資料集的成本。在 Octo 與 ICRT 的實驗中，這些壓縮比下的有損影片壓縮讓驗證損失改變 2.6%，且並未妨礙策略完成全部 15 次實體取放試驗。
問題
Open X-Embodiment 等大型遠端操作機器人資料集，分享成本高且載入緩慢：在 Google Cloud 上存放 8.9 TB 每月花費 172 USD，但每次完整下載要讓託管方花費 172 到 1,540 USD。現有格式要不是將影像存成矩陣（RLDS、HDF5），雖然無損卻不節省空間，就是將串流分散在多個檔案中，並帶有框架特定的對齊假設（LeRobot），這讓載入變得複雜，也拖慢解碼。
提出的方法
Robo-DM 延伸了可延伸二進位元語言（EBML），也就是 MKV 影片背後的容器格式，將一個回合的所有視覺、語言與動作串流存放在一個自足的檔案中，每個封包都標上相對於回合開始的時間戳記。資料以原始形式記錄，並在蒐集後以有損（例如 AV1）或無損（FFV1）編解碼器轉碼；訓練時，負載平衡器會在解碼影片與讀取已解碼影格的記憶體映射快取之間做選擇。它可與 ROS 2（rosbag、rviz、Foxglove）、TensorFlow 與 PyTorch 搭配使用，並能匯出為 HDF5 與 RLDS。
關鍵見解
- 作者表示，大部分的體積縮減來自對攝影機串流的影片壓縮。
- 將所有串流保存在一個帶時間戳記的容器中，就不再需要以啟發式方法對齊以不同速率記錄的串流。
- 將壓縮延後到蒐集之後，可避免轉碼干擾資料蒐集。
- 較小的回合獲益較少：RT-1 在 RLDS 中平均每條軌跡 1.51 MB，而 Robo-DM 的搜尋與解碼中繼資料將縮減倍數限制在 4.39x。
主要結果
- 有損 Robo-DM 與原始 RLDS 檔案的比較（表 I）：Bridge 從 387.49 GB 降到 5.31 GB（73x），Cable Routing 從 4.67 GB 降到 0.26 GB（18x），Door Opening 從 7.12 GB 降到 0.10 GB（71x），AutoLab UR5 從 76.39 GB 降到 3.26 GB（23x）。正文給出的數值為 18x、73x、23x 與 73x；摘要則表示有損最多 70x、無損 3.5x。
- 在三個 OXE 資料集上的載入吞吐量（圖 4）：分別比 LeRobot 快 33x、20x 與 5x，無損版本與有損版本相近；摘要表示循序解碼時最多比 LeRobot 快 50x。HDF5 比 Robo-DM 更快，因為其資料未經壓縮。
- 在 RT-1 上微調 Octo-small（111.06 GB 降到 36.50 GB，4.39x）：批次大小為 64 時，每次迭代資料載入 0.02 秒、訓練 0.10 秒，與 TensorFlow 載入器相同；驗證 MSE 在無損資料下為 1.86，在有損資料下為 1.91，增加 2.6%。
- 引言指出，在 Octo 微調中，Robo-DM 在小批次時載入快 3.0x，在大批次時不會造成減速。
- 在 Franka 手臂上執行的 ICRT，以 335 筆示範訓練，這些示範存為 77 MB 有損（相對於 5.8 GB 的 gzip HDF5 為 75.3x）或 1.7 GB 無損（3.41x）：以有損資料訓練的模型在 15 次取放試驗中 15 次成功。
限制
- 將 RAM 用作解碼快取會增加記憶體用量，且在每個回合的資料量大時可能降低吞吐量；在 Bridge 上，吞吐量隨批次大小增加而下降，而每個回合只取樣單一影格時可能更慢（作者陳述）。
- 解碼在 CPU 上使用 PyAV，沒有 GPU 加速；作者提到 Decord 與 NVIDIA NVDEC 是未來研究中更快的選項。
- 由於每個檔案的搜尋與解碼中繼資料，小回合的壓縮效果較差（RT-1 上為 4.39x）。
- 實體驗證只有一項取放任務，對以有損資料訓練的模型進行 15 次試驗，沒有以未壓縮資料訓練的對應模型作比較。
- LeRobot 的轉換會捨棄深度串流與部分動作串流，因此沒有 AutoLab UR5 的 LeRobot 大小數值。
對領域的影響
榮獲 IEEE ICRA 2025 機器人學習最佳論文獎；被引用 5 次。作者以開源形式釋出 Robo-DM，程式碼與評估腳本位於 github.com/BerkeleyAutomation/fog_x。
摘要
近期的結果顯示，由遠端操作機器人示範組成的超大型資料集，可用來訓練以 Transformer 為基礎的模型，這些模型有潛力泛化到新的場景、機器人與任務。然而，整理、散布與載入大型機器人軌跡資料集仍具挑戰性，這些軌跡通常包含影片、文字與數值模態——其中也包括來自多台攝影機的串流。我們提出 Robo-DM，一套有效率的開源雲端資料管理工具組，用於蒐集、分享機器人資料並以其進行學習。透過 Robo-DM，機器人資料集以可延伸二進位元語言（Extensible Binary Meta Language，EBML）儲存為自足的格式。Robo-DM 能大幅減少機器人軌跡資料的大小、傳輸成本與訓練時的資料載入時間。相較於 OXE 資料集所用的 RLDS 格式，Robo-DM 的壓縮最多可節省 70x（有損）與 3.5x（無損）的空間。Robo-DM 也透過將影片解碼與記憶體映射的解碼快取做負載平衡，來加速資料讀取。相較於同樣使用有損影片壓縮的框架 LeRobot，Robo-DM 在循序解碼時最多快 50x。我們對一個以 Robo-DM 有損壓縮資料訓練的模型、一項取放任務以及 In-Context Robot Transformer 進行實體評估。Robo-DM 對原始資料集使用 75x 壓縮，下游任務的準確度並未下降。程式碼與評估腳本可在網站 https://github.com/BerkeleyAutomation/fog_x 取得。
連結
- arXiv 2505.15558: https://arxiv.org/abs/2505.15558
- DOI 10.1109/ICRA55743.2025.11128693: https://doi.org/10.1109/ICRA55743.2025.11128693
- PDF: https://arxiv.org/pdf/2505.15558v1
- 程式碼: https://github.com/BerkeleyAutomation/fog_x