Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

HiFi-UMI-2K

2,000 小時不需機器人的雙臂操作資料,精度達 3 mm

授權條款

CC-BY-4.0

概述

HiFi-UMI-2K 是一個 2,000 小時的開放資料集,收錄不需機器人的雙臂操作示範,以可攜式頭部與雙手擷取裝置錄製,而非透過遠端操作機器人。它是從一個超過 20,000 小時、涵蓋 480 多個場景共 4.32M 個片段的來源語料中精選出的子集。每個片段都帶有六個同步的攝影機視角:頭部立體攝影機,加上每隻手兩個非平行的魚眼視角,涵蓋約 200 度;並附有經校正的雙臂末端執行器軌跡、夾爪狀態、語言標註與品質管制中繼資料。由 Simple AI 依 CC-BY-4.0 發布,格式為 LeRobot v3 風格的 Parquet 與 MP4 匯出。

操作資料通常要在精度與規模之間取捨:遠端操作真實機器人,軌跡很完美,但每一小時都要耗費一台機器人、一套設備與一名操作者;使用手持式 UMI 夾爪則可以擴大規模,但姿態會漂移,夾爪之間的幾何關係是事後重建的,感測器也是在軟體中對齊的。HiFi-UMI 針對的是這項取捨的後半部。頭戴式離線立體慣性 SLAM 搭配基準標記定位,可達到約 3 mm 的局部末端執行器精度;雙手都在同一個頭部攝影機座標框架中定位,因此兩手之間的相對姿態是量測而非重建的;共用的 GPIO 觸發則將跨感測器偏移維持在 40 微秒以下。每條軌跡都會自動重建並經重播驗證,每個階段的通過率約為 98%。

為何重要

這個資料集支撐了一項主張:不需機器人的擷取方式不只能用於預訓練,也能獨力支撐後訓練;僅以 HiFi-UMI 示範訓練的策略可以直接部署到真實的雙臂機器人上。對於沒有遠端操作設備或目標手臂的人而言,這改變了能做出什麼。它的下載次數已超過 121,000 次,是使用最頻繁的開放操作語料之一,而 LeRobot v3 匯出格式代表它不需轉換就能放進現有流程。

解決的問題

開放操作資料迫使人在擬真度與規模之間做選擇。不需機器人的手持式擷取可以擴大規模,但過去只被信任用於預訓練,因為姿態漂移、重建的夾爪間幾何關係與軟體感測器對齊,使它達不到可部署的等級。

重點

  • 發布 2,000 小時,精選自超過 20,000 小時、涵蓋 480 多個場景共 4.32M 個以上片段的來源語料
  • 每個片段有六個同步視角:頭部立體攝影機,加上每隻手兩個非平行的魚眼攝影機,涵蓋約 200 度
  • 不需外部追蹤基礎設施,即可達到約 3 mm 的局部末端執行器精度
  • 透過共用的 GPIO 硬體觸發,跨感測器時間偏移低於 40 微秒;每小時掉幀少於 2 幀
  • 軌跡重建與全身控制重播驗證的成功率各約為 98%
  • 採用 CC-BY-4.0,以 LeRobot v3 風格的 Parquet 表格加 MP4 影片發布

適用對象

  • VLA 與世界動作模型的預訓練團隊
  • 雙臂操作研究人員
  • 沒有遠端操作設備的模仿學習實務工作者
  • 基準測試與資料品質研究人員

限制

  • 發布的 2,000 小時是精選子集;完整的 20,000 小時以上語料與 4.32M 個片段仍留在公司內部
  • 擷取裝置本身並非開源硬體,因此無法直接重現收集方法
  • 示範由人手戴著手套式夾爪完成,而非目標機器人,因此在手臂層面仍存在形態落差
  • 發布子集與來源語料的統計數據不同,資料卡有標示哪個是哪個;引用數字之前請仔細閱讀
  • 每個片段有六路影片串流,在此規模下,處理完整版本需要可觀的儲存空間與頻寬

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。