Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

FiftyOne 直接讀取 LeRobot 資料集,支援跨回合搜尋

  • 來源: Voxel51 and Hugging Face
  • 作者: Open Source Robotics
  • 發布日期: 2026-10-05
  • 類別: research

Voxel51 的開源資料集策展工具 FiftyOne 現在能直接開啟 LeRobot v3 資料集,無須轉換格式或複製影片。每個回合都能同步播放其攝影機畫面、狀態與動作,接著篩選、以文字或相似度搜尋,並匯出為新的 LeRobot 資料集。它只讀取 v3,載入器已隨 FiftyOne 1.22.0 推出。

Voxel51 的開源資料集策展工具 FiftyOne,現在能直接開啟原樣的 LeRobot v3 資料集。只要指向資料集資料夾,每個回合就會成為一個可播放、篩選與搜尋的樣本,不需轉換格式,也不會重新編碼或複製任何影片。來自 Voxel51 與 Hugging Face 的工程師於 10 月 5 日介紹了這項支援;載入器本身已於 9 月 12 日隨 FiftyOne 1.22.0 推出,發布說明中將其列為新的 LeRobotDataset 類型,並附有回合檢視器。

一個回合長什麼樣子

匯入時只會讀取資料集的中繼資料檔案。每個樣本都是一個指標:指出 Parquet 檔案中哪些列存放該回合的狀態與動作,以及每台攝影機的 MP4 中哪段時間區間存放其影片。在應用程式中,每台攝影機都有自己的圖塊,State & Action 圖塊則逐格顯示每個關節的數值,與影片同步。每個回合的機器人類型、任務、時長與影格率都成為一般欄位,因此「所有超過十秒的 SO-101 回合」只是一個篩選條件,而不必寫腳本。FiftyOne 文件說明了匯入方式與各個欄位。

實作範例

這次發布附有一個 497 個回合的範例資料集,取自 LeRobot community dataset v3:50 種機器人類型各約十個回合。每個回合都帶有以 Qwen3-VL-Embedding-2B 計算的影片嵌入向量,取自最多 32 個平均間隔的影格。這正是策展功能得以運作的關鍵:以文字描述搜尋回合、找出與選定回合最相似的回合,並為每個回合評估其不尋常或典型的程度,讓近似重複與離群的回合能在訓練前被找出來。

把資料再取出來

篩選後的選集有三種方式進入訓練:透過指標就地讀取資料列、將選定的回合編號傳給 LeRobot 自己的 LeRobotDataset 載入器,或將選集匯出為新的、自成一體的 LeRobot v3 資料集。只有匯出會複製資料。

先確認這些事項

- 只讀取 LeRobot v3;較舊的資料集需要先用 LeRobot 自己的工具轉換。 - 樣本指向來源檔案,因此資料集一旦移動或變更,就必須重新匯入。 - 每個來源資料集的回合編號都從零開始。同時載入多個資料集時,請先依資料集名稱篩選再匯出或訓練,並且一次只匯出一個來源資料集,因為它們的結構描述各不相同。 - 直接從 Hugging Face Hub 載入 LeRobot 資料集需要一項修正,該修正於 10 月 5 日合併,晚於最新版本(1.22.1),因此在下一版推出前,使用本機資料夾是比較保險的做法。

為何重要

大多數機器人學習資料集都以規模來評判,因為檢視其內容很費時:數千個回合,每個回合有多台攝影機,卻沒有快速的方法看出哪些近乎重複、哪些已損壞、哪些呈現了罕見情況。一個能就地讀取 LeRobot 格式、播放任何回合並同步顯示關節數值,還能依典型或不尋常程度為回合排序的工具,讓檢視成本低到可以在每次訓練前進行。它也讓在低成本手臂上錄製的社群資料集,享有影像資料集多年來早已具備的策展工具。

重點

  • FiftyOne 1.22.0 及之後版本只需一次呼叫即可載入 LeRobot v3 資料集;匯入時不會轉換、重新編碼或複製任何內容
  • 每個回合是一個樣本:每台攝影機在各自的圖塊中播放,關節狀態與動作逐格顯示並與影片同步
  • 機器人類型、任務、時長與影格率都是可查詢的欄位,因此挑選回合只需篩選,不必寫腳本
  • 加入影片嵌入向量後,回合可以用文字搜尋、比對相似回合,並評估為不尋常或典型
  • 選集可就地、透過 LeRobot 自己的載入器,或以匯出的 LeRobot v3 資料集形式回到訓練
  • 只支援 v3,且從 Hugging Face Hub 載入需要一項在 1.22.1 版之後才合併的修正

開源觀點

FiftyOne 以 Apache-2.0 授權開源,LeRobot 支援就在這個開源套件中,而不是放在 Voxel51 的商業產品 FiftyOne Enterprise 裡。範例資料集以 Apache-2.0 授權發布於 Hugging Face Hub,取材自 LeRobot 社群貢獻的錄製資料。不過發布說明另外列出了從雲端儲存載入 LeRobot 資料集的功能,在據此規劃之前,這部分應先對照 Enterprise 的功能清單確認。

相關技術

  • FiftyOne
  • LeRobot
  • LeRobot dataset v3
  • Qwen3-VL-Embedding
  • Parquet
  • Hugging Face Hub

相關專案

  • LeRobot

連結

  • 來源: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。