LeRobot 可直接從物件儲存中的 LanceDB 表格訓練
- 來源: Hugging Face and LanceDB
- 作者: Open Source Robotics
- 發布日期: 2026-09-24
- 類別: research
LeRobot 的資料集層現在原生支援讀取 LanceDB 表格,訓練可直接從物件儲存串流並進行完整的全域洗牌,而不必先下載。在完整的 DROID 上,遠端執行比本機副本快 33 分鐘完成,損失值完全相同。此功能已在 LeRobot 的主分支上,但尚未納入正式版本。
更正——2026 年 10 月 29 日。 本文先前的版本將 DROID 描述為約 2,760 萬個畫面。所連結的文章並未提及此數字,因此已將其移除。
---
LeRobot 現在可以直接從以 LanceDB 資料表儲存的資料集進行訓練,只從物件儲存中讀取每個批次所需的位元組,而不必先下載整個資料集。來自 Hugging Face 與 LanceDB 的工程師於 9 月 24 日說明了這項整合,距離此功能本身於 8 月 28 日合併至 LeRobot 的 main 分支已一個月。Lance 是 LeRobot 資料集層原生支援讀取的第一個替代儲存格式,錄製與訓練程式碼都不必修改:現有的 lerobot-train 指令指向 Lance 資料表後,會自行選用正確的載入器。
實際效果是,大到無法複製到每台訓練機器上的資料集可以留在原處。指向 Hugging Face Storage Bucket 時,一次在兩張 H100 上進行的 SmolVLA 訓練,從儲存桶讀取的速度與從本機 NVMe 副本讀取時相同,都是每秒 212 個樣本,損失曲線也完全一致。較大規模的測試則是完整的 DROID——369 GB 的影片——從遠端物件儲存讀取,並對每個畫面進行全域洗牌。在八張 H100 上進行兩次其他條件完全相同的 10,000 步訓練,LanceDB 那次花了 1 小時 27 分鐘完成,而使用標準讀取器讀取本機副本的那次花了 2 小時,而且還需要先下載 384 GB。標準訓練有 37% 的時間在等待資料;LanceDB 訓練則不到 2%。最終損失在小數點後四位都一致。
論點的第二部分與資料整理有關。由於訓練資料本身就是 LanceDB 資料表,嵌入向量、衍生分數與全文索引都可以作為欄位,存放在訓練器讀取的同一列資料上,因此搜尋與篩選資料不必將它匯出到另一個向量資料庫。作者以 SigLIP2 為 610,403 個 DROID 畫面建立嵌入向量,並結合視覺與 SQL 查詢,挖掘出沒有標籤的行為——在不同住家中移動布料的畫面,而其任務文字從未提到這件事。片段可直接從資料表在 Foxglove 中檢視。
對 DROID 進行一次完整掃描,得出了三項無論你用什麼訓練都值得知道的發現:OpenPI 的閒置過濾器會移除 11.66% 的資料集,而且將結果長度寫死而非實際計算;預設的 80/20 切分讓每棟建築、每位資料蒐集者同時出現在訓練集與驗證集中,因此會造成資料洩漏;而成功的片段反而比失敗的片段動作更不平順,這意味著常見的平順度過濾器會丟掉好的資料。在可透過模擬量測成功率的 LIBERO 上,刻意破壞 30% 的示範資料,再用三個資料表查詢將它們移除,所得到的策略比用雜亂資料集訓練的更好。
有兩點需要說清楚。原生讀取器已在 LeRobot 的 main 分支上,但尚未進入已標記的版本——最新的 v0.6.1 早於此功能——因此目前需要從原始碼安裝。此外,支撐整個資料整理流程、能在不重寫資料的情況下新增計算欄位的那一步,被描述為 LanceDB Enterprise 的功能;LeRobot 本身所依賴的是開源讀取器與 Lance 格式。作者已發布一個互動式示範,針對完整的 DROID 資料表執行這些查詢。
為何重要
機器人學習資料集已大到不適合再複製到每台訓練機器上:光是 DROID 就有數百 GB 的影片。在不犧牲 GPU 處理量或洗牌品質的前提下從物件儲存串流,省去了複製的步驟;而將搜尋、分數與嵌入向量放在訓練器讀取的同一張表格上,讓資料策展變成一次查詢,而非一條匯出流程。對 DROID 一次掃描的發現,包括會洩漏資料的預設分割,以及方向錯誤的品質篩選器,說明了為何值得讓策展變得低成本。
重點
- LeRobot 現在原生讀取以 LanceDB 表格儲存的資料集;錄製與訓練程式碼都不變,lerobot-train 會自行選擇載入器
- 訓練可從 Hugging Face Storage Bucket 或其他物件儲存串流,對每個影格進行全域洗牌,且不需下載步驟
- 在完整的 DROID 上,遠端 LanceDB 執行耗時 1 小時 27 分鐘,本機副本執行則需 2 小時,損失值完全相同,等待資料的時間比例為 1.7%,而非 37.4%
- 嵌入向量、分數與索引可以作為欄位存放在訓練表格上,因此策展與挖掘只是查詢,而非匯出
- 對 DROID 的一次掃描發現了會洩漏資料的預設訓練/驗證分割,以及會移除好資料的平順度篩選器
- 此功能在 LeRobot 的主分支上,但尚未納入標記的正式版本,而策展所用的欄位回填是 LanceDB Enterprise 的功能
開源觀點
這項整合位於 LeRobot 本身,採用其 Apache-2.0 授權,已於 8 月 28 日合併進主分支,它所讀取的 Lance 格式也是開源的。值得留意的是它與 LanceDB 商業方案之間的界線:在不重寫表格的情況下新增計算欄位,也就是策展工作流程所依賴的步驟,被定位為 LanceDB Enterprise 的功能。從 Lance 表格訓練與查詢則不依賴此功能。
相關技術
- LeRobot
- LanceDB
- Lance
- SmolVLA
- DROID
- Foxglove
- Hugging Face Storage Buckets
連結
- 來源: https://huggingface.co/blog/CarolinePascal/how-to-train-your-robot-the-lancedb-edition