LeRobot 重建資料集串流,免下載即可訓練 100 TB 以上機器人資料集
- 來源: Hugging Face (LeRobot team)
- 作者: Open Source Robotics
- 發布日期: 2026-10-17
- 類別: research
LeRobot 從 Hugging Face Hub 串流資料集的訓練選項,現在改用一個以完整回合為核心、每張 GPU 可配多個載入工作程序的新讀取器。在團隊的測試中,π0.5 在四張 H100 上直接從 10.7 TB 的資料集訓練了八小時,每個步驟等待資料的時間只占 0.52%。此功能已在 LeRobot 的主分支上,但尚未納入正式版本。
Hugging Face 的開源機器人學習函式庫 LeRobot,替換了其 --dataset.streaming=true 訓練選項背後的讀取器。目標是直接從 Hugging Face Hub 或 Storage Bucket 訓練 100 TB 以上的機器人資料集,而不必先把每段影片都複製到本機磁碟。LeRobot 團隊在 10 月 17 日發布的一篇互動式文章中,說明了其運作方式並附上效能測試。程式碼分布在兩個已合併的 pull request 中:新的回合池讀取器(10 月 7 日)與多工作程序載入(10 月 12 日)。
以回合為單位,而非影格
LeRobot 資料集將攝影機影片存放在 MP4 檔案中,狀態、動作與時間戳記則存放在 Parquet 表格中,通常一個檔案包含許多回合。透過網路擷取單一影格很慢,因為一個影片影格只能從它之前的關鍵影格開始解碼。因此,新的讀取器一次擷取一整個回合。它利用每個 MP4 的索引,只請求該回合的位元組,在記憶體中將其以壓縮形式保存為一段自成一體的小影片,並只讀取對應的表格資料列。每個訓練樣本都以一個錨點影格為中心建立,錨點取自一個有上限的活躍回合池,每個錨點在每個 epoch 只使用一次。當一個回合用完時,就由新的回合遞補。在模型以一個批次訓練的同時,工作程序會擷取並解碼後續批次,並依固定順序交付,因此讀取緩慢只會延遲樣本,而不會跳過樣本。
測試結果
- π0.5 在四張 H100 GPU 上從約 10.7 TB 的資料集 RealOmni 串流訓練了八小時。它消耗了超過一百萬個樣本,每個節點平均每秒 42.5 個樣本,等待資料的時間占步驟時間的 0.52%。從檢查點重新啟動後,也能以預期的下一批樣本繼續。 - 在一台 8 vCPU 的機器上,四個載入工作程序將 SO-101 取放資料集的處理量從每秒 283 個樣本提升到 607 個。一個三攝影機資料集達到每秒 1,130 至 1,354 個樣本,約為單一工作程序的 2.3 至 2.5 倍。
文章明確表示,它並未宣稱跑完了完整的 100 TB epoch:100 TB 是設計所針對的規模,而不是它所回報的實際執行。
使用方式
在 lerobot-train 指令中加入 --dataset.streaming=true,若資料放在 Bucket 中,則再加上 --dataset.repo_type=bucket。有三項設定可以在記憶體與速度、多樣性之間取捨:回合池中的活躍回合數、開啟的影片解碼器與就緒樣本數,以及 --num_workers。文章附有一個互動式計算器,可用來判斷是網路、解碼還是模型決定了速度。串流文件列有完整選項。
先確認這些事項
- 此功能在 LeRobot 的 main 分支上。最新的正式版本是 8 月推出的 v0.6.1,仍使用較舊的串流讀取器。 - 樣本是在活躍回合池內混合,而不是在整個資料集中洗牌。團隊表示,這兩種取樣策略都尚未證實有收斂上的優勢。 - 訓練期間來源資料集不應變更:儲存庫會固定在某個版本,Bucket 則以內容雜湊值檢查。 - 若想以另一種方式達成同樣目標,LeRobot 也可以從物件儲存中的 LanceDB 表格訓練,並進行完整的全域洗牌。
為何重要
機器人資料集的成長速度,如今已超過人們用來訓練的磁碟:一台以 20 fps 運作、配備三台攝影機的機器人,全天候每隔幾毫秒就記錄一張影像,整個機隊的資料量可達數百 TB。在此之前,實際上要在大型 LeRobot 資料集上訓練,就得先準備一份完整的本機影片副本。一個能按需擷取完整回合、讓 GPU 持續有資料可用,並能在重新啟動後順利接續的讀取器,讓實驗室能用永遠放不進本機的社群或機隊資料來訓練,而且開始執行時不必等待下載。
重點
- LeRobot 的 --dataset.streaming=true 現在改用新的讀取器,從 Hub 或 Bucket 擷取完整回合,並在記憶體中以壓縮形式保存其影片
- 每個訓練樣本都來自一個有上限的活躍回合池,每個錨點影格在每個 epoch 只使用一次
- 一次在四張 H100 上進行八小時的 π0.5 訓練,串流了 10.7 TB 的資料集,等待資料的時間只占步驟時間的 0.52%
- 在 8 vCPU 的機器上,多個載入工作程序(--num_workers)帶來最高為單一工作程序 2.5 倍的處理量
- 此功能在 LeRobot 的主分支上,尚未納入正式版本;最新正式版本 v0.6.1 仍使用較舊的讀取器
開源觀點
這個讀取器是採用 Apache-2.0 的 LeRobot 的一部分,文章及其互動圖表也以 CC BY 4.0 公開發布。文章中提到的效能測試資料集都在 Hugging Face Hub 上;SO-101 取放資料集採用 Apache-2.0。
相關技術
- LeRobot
- LeRobot dataset v3
- Hugging Face Hub
- Hugging Face Storage Buckets
- MP4
- Parquet
- π0.5
相關專案
連結
- 來源: https://huggingface.co/spaces/lerobot/streaming-dataloader