Robo-DM: Data Management For Large Robot Datasets

著者: Kaiyuan Chen, Letian Fu, David Huang, Yanxiang Zhang, Lawrence Yunliang Chen, Huang Huang, Kush Hari, Ashwin Balakrishna, Ted Xiao, Pannag R Sanketi, John Kubiatowicz, Ken Goldberg · ICRA 2025

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

Robo-DM は各ロボットエピソードの動画、言語、行動のストリームをタイムスタンプ付きの EBML ファイル 1 つに保存し、RLDS に比べてサイズを最大 70x 削減し、LeRobot より高速に読み込む。

重要な理由

データセットのサイズは、ホスト側のダウンロード料金と、訓練ジョブがデータを待つ時間の両方を決める。そのため、小さく速く読み込めるファイルは、大規模なロボットデータセットの共有と利用のコストを下げる。Octo と ICRT の実験では、これらの圧縮率での非可逆な動画圧縮は検証損失を 2.6% 変化させ、ポリシーが 15 回の物理的なピックアンドプレースの試行をすべて完了することを妨げなかった。

課題

Open X-Embodiment のような大規模なテレオペレーションのロボットデータセットは、共有のコストが高く読み込みが遅い。Google Cloud に 8.9 TB を保存するのに月 172 USD かかるが、完全なダウンロード 1 回ごとにホスト側に 172 から 1,540 USD の費用がかかる。既存の形式は、画像を行列として保存する（RLDS、HDF5）ため可逆だが容量効率が悪いか、フレームワーク固有の同期の前提をもってストリームを複数のファイルに分散させる（LeRobot）ため、読み込みが複雑になりデコードが遅くなる。

提案手法

Robo-DM は、MKV 動画の背後にあるコンテナである Extensible Binary Meta Language（EBML）を拡張し、エピソードの視覚、言語、行動のすべてのストリームを一つの自己完結したファイルに保存する。各パケットにはエピソード開始からの相対タイムスタンプを付ける。データは生のまま記録し、収集後に非可逆（例えば AV1）または可逆（FFV1）のコーデックでトランスコードする。訓練時には、ロードバランサーが動画のデコードと、デコード済みフレームのメモリマップトキャッシュの読み出しのどちらかを選ぶ。ROS 2（rosbag、rviz、Foxglove）、TensorFlow、PyTorch と連携し、HDF5 と RLDS へエクスポートできる。

主な知見

著者らが述べるとおり、サイズ削減の大部分はカメラストリームの動画圧縮によるものである。
すべてのストリームをタイムスタンプ付きの一つのコンテナに保持することで、異なるレートで記録されたストリームを揃えるためのヒューリスティックが不要になる。
圧縮を収集後まで遅らせることで、トランスコードがデータ収集を妨げないようにする。
小さなエピソードは得るものが少ない。RT-1 は RLDS で軌道あたり平均 1.51 MB であり、Robo-DM のシークとデコード用のメタデータにより削減は 4.39x にとどまる。

主な結果

非可逆の Robo-DM と元の RLDS ファイルの比較（表 I）：Bridge 387.49 GB から 5.31 GB（73x）、Cable Routing 4.67 GB から 0.26 GB（18x）、Door Opening 7.12 GB から 0.10 GB（71x）、AutoLab UR5 76.39 GB から 3.26 GB（23x）。本文ではこれらを 18x、73x、23x、73x としており、要旨では非可逆で最大 70x、可逆で 3.5x としている。
3 つの OXE データセットでの読み込みスループット（図 4）：LeRobot より 33x、20x、5x 高速で、可逆版は非可逆版に近い。要旨では逐次デコード時に LeRobot より最大 50x 高速としている。HDF5 はデータが非圧縮のため Robo-DM より高速だった。
RT-1 での Octo-small のファインチューニング（111.06 GB から 36.50 GB、4.39x）：バッチサイズ 64 で反復あたりデータ読み込み 0.02 秒、訓練 0.10 秒と TensorFlow のローダーと同じ。検証 MSE は可逆データで 1.86、非可逆データで 1.91 で、2.6% の増加。
序論では、Octo のファインチューニングにおいて Robo-DM は小さいバッチサイズで 3.0x 速く読み込み、大きいバッチサイズでは速度低下を生じないと報告している。
Franka アーム上の ICRT を、77 MB の非可逆（5.8 GB の gzip HDF5 から 75.3x）または 1.7 GB の可逆（3.41x）で保存した 335 件のデモで訓練：非可逆データで訓練したモデルで 15 回中 15 回のピックアンドプレースが成功した。

制限事項

RAM をデコードキャッシュとして使うとメモリ使用量が増え、エピソードあたりのデータが大きいとスループットが下がることがある。Bridge ではバッチサイズが大きくなるにつれてスループットが低下し、エピソードあたり 1 フレームだけをサンプリングする場合は遅くなる可能性がある（著者らの記載）。
デコードは GPU アクセラレーションなしで CPU 上の PyAV を用いた。著者らは今後の課題として、より高速な選択肢に Decord と NVIDIA NVDEC を挙げている。
ファイルごとのシークとデコード用のメタデータのため、小さなエピソードは圧縮率が低い（RT-1 で 4.39x）。
物理的な確認は、非可逆データで訓練したモデルによる 15 回の試行を行ったピックアンドプレースタスク 1 つのみで、非圧縮データで訓練した対応するモデルはない。
LeRobot の変換では深度ストリームと一部の行動ストリームが失われるため、AutoLab UR5 については LeRobot のサイズの数値がない。

分野への影響

IEEE ICRA 2025 Best Paper Award on Robot Learning を受賞。被引用数は 5。著者らは Robo-DM をオープンソースとして公開しており、コードと評価スクリプトは github.com/BerkeleyAutomation/fog_x にある。

概要

最近の結果は、テレオペレーションによるロボットのデモからなる非常に大規模なデータセットを用いて、新しいシーン、ロボット、タスクに汎化する可能性のあるトランスフォーマーベースのモデルを訓練できることを示唆している。しかし、通常は動画、テキスト、数値のモダリティ（複数のカメラからのストリームを含む）からなるロボット軌道の大規模データセットを整備し、配布し、読み込むことは依然として難しい。我々は、ロボットデータの収集、共有、学習のための効率的なオープンソースのクラウドベースのデータ管理ツールキット Robo-DM を提案する。Robo-DM では、ロボットのデータセットは Extensible Binary Meta Language（EBML）による自己完結型の形式で保存される。Robo-DM は、ロボット軌道データのサイズ、転送コスト、訓練時のデータ読み込み時間を大幅に削減できる。OXE データセットで使われている RLDS 形式と比べ、Robo-DM の圧縮は最大 70x（非可逆）と 3.5x（可逆）の容量を節約する。Robo-DM はまた、動画のデコードとメモリマップトのデコードキャッシュの間で負荷分散することでデータの取得を高速化する。同じく非可逆の動画圧縮を用いるフレームワークである LeRobot と比べ、Robo-DM は逐次デコード時に最大 50x 高速である。我々は、Robo-DM で非可逆圧縮して訓練したモデルを、ピックアンドプレースタスクと In-Context Robot Transformer で物理的に評価する。Robo-DM は元のデータセットに対して 75x の圧縮を用い、下流タスクの精度の低下は見られない。コードと評価スクリプトは https://github.com/BerkeleyAutomation/fog_x にある。

リンク

arXiv 2505.15558: https://arxiv.org/abs/2505.15558
DOI 10.1109/ICRA55743.2025.11128693: https://doi.org/10.1109/ICRA55743.2025.11128693
PDF: https://arxiv.org/pdf/2505.15558v1
コード: https://github.com/BerkeleyAutomation/fog_x