Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

RoboCap-10k

10,000 小時第一人稱有償工作影片,附公制 3D 頭部與手部姿態

授權條款

CC BY 4.0

資料:CC BY 4.0,依據資料集卡片的授權段落、其在 Hugging Face 上的授權標籤與技術報告;卡片表示資料可用於任何目的,包括商業用途,只需引用論文標示來源。存取:受限;Grounded SI 逐一核准申請,申請表要求承諾不嘗試重新識別資料集中的任何人。影片中的人:卡片表示工作者簽署了知情同意書且人臉已模糊處理,但 CC BY 4.0 不授予隱私權或肖像權,技術報告也把遵守當地勞動與隱私法規的責任交給各國的合作夥伴。相關資料集:BitRobot 的 RoboCap-LiDAR-100 採用 CC BY-NC 4.0,僅限非商業用途;RoboCap-IKEA-500 與 RoboCap-Origami-500 採用 CC BY 4.0。卡片圖片:取自 Grounded SI 自己製作的資料集片段預覽中的一幀;標示來源 Grounded Superintelligence。已於 2026-11-12 對照資料集卡片、技術報告與 BitRobot 的資料集卡片查核。

概述

RoboCap-10k 是 Grounded Superintelligence 發布的第一人稱資料集:10,000 小時經篩選的真人有償工作影片,由一頂攝影機帽拍攝,並標註以公尺為單位的頭部與雙手 3D 動作。資料集包含 1,363,915 個片段,涵蓋 21 個產業、365 類工作場所與 619 項任務,錄製於 11 個國家,從麵包生產、成衣車縫到引擎維修、電路板焊接與鋼筋綁紮。每一小時都以同一種裝置錄製,也就是 RoboCap:一頂重 250 g 的帽子,配備六台同步的全域快門攝影機與兩個慣性量測單元(IMU),並由同一套 3D 處理流程處理。每一幀都附有與重力對齊的 6-DoF 頭部姿態,以及世界座標系中的 MANO 手部參數與每隻手 21 個關鍵點;每個片段都有一句簡短的任務說明與附時間標記的子任務說明。資料以 LeRobot 格式與 Rerun 紀錄提供,並附上攝影機原始資料串流,採用 CC BY 4.0 授權。資料集於 2026 年 11 月 7 日在 Hugging Face 上發布,存取需提出申請並經核准。

RoboCap-10k 是一個記錄真實職業工作的第一人稱資料集,用來訓練機器人策略與世界模型,由 Grounded Superintelligence 在 Hugging Face 上以 CC BY 4.0 授權發布。工作者在 6 到 12 小時的正常支薪班次中戴著攝影機帽,沒有任何內容是為了鏡頭而安排或演出的。篩選後的發布版本包含 10,000 小時、1,363,915 個片段,每段 10 到 600 秒,中位數為 17.8 秒。內容涵蓋 21 個產業、365 類工作場所與 619 項任務,錄製於 11 個國家:印度、奈及利亞、哥倫比亞、美國、英國、墨西哥、智利、馬來西亞、菲律賓、印尼與西班牙。任務依難度分級,簡單 170 項、中等 277 項、困難 172 項;困難任務是需要技術的工作,例如在電路板上焊接零件、綁紮鋼筋籠或工業車縫。

所有資料都以同一種裝置型號錄製,也就是 RoboCap:一頂重 250 g 的帽子,配備六台 1080p、30 Hz 的全域快門攝影機,由同一個硬體觸發訊號驅動,另有兩個 200 Hz 的慣性量測單元(IMU)。兩組魚眼立體攝影機讓雙手在整個伸手範圍內都處於公制立體視野中,兩台側向廣角攝影機則捕捉超出該視野的動作。Grounded SI 依據每次錄製工作階段的畫面本身重新校正攝影機,並表示每台發布裝置的平均對極誤差都低於 1 px。頭部軌跡來自多攝影機視覺慣性 SLAM 並經離線光束法平差,雙手則來自一個多視角追蹤器,它在所有攝影機上擬合同一個 MANO 手部模型。與動作捕捉相比,Grounded SI 回報的頭部軌跡誤差中位數為 3.0 mm,手部誤差為 4.5 mm PA-MPJPE;這些是它自己的量測結果,說明見其技術報告。

語言標註分兩層:每個區間一句簡要說明,區間內再有連續的詳細子任務說明。詳細說明由 Gemini 3.8 Flash 根據兩台前方攝影機產生,並由人工對照影片審核了 1,000 小時的說明,占整個語料的 10%。

每個片段提供兩種形式。LeRobot 格式用於訓練,每台攝影機一個 H.265 編碼的 MP4 檔,另有依幀索引的 Parquet 表格,記錄頭部姿態、手部姿態與 IMU 讀數。Rerun 紀錄則在同一個 3D 世界座標系中顯示六路資料串流、頭部軌跡與手部網格。每個片段也附有校正參數與一個 JSON 檔,包含分類標籤、說明與品質統計;原始資料串流也一併發布,方便查核並重新產生標註。影片總量約 108 TB,存放在 Hugging Face 的儲存桶中,LeRobot 可以直接從中串流讀取。存取需要在資料集頁面提出申請,Grounded SI 表示會在 2 到 3 個工作天內審核。不需帳號,任何人都能在資料集預覽網站上瀏覽 1,794 個片段及其說明、國家與工作區域,並在 Rerun 檢視器中播放。

關於隱私,資料集卡片表示每位工作者都簽署了知情同意書,每家合作企業都簽署了資料協議,配戴者在薪資之外另獲報酬。錄製時沒有收音,人臉由 Grounded SI 自行開發的偵測器永久模糊處理,詮釋資料只標明國家與工作場所類型。發布公告將 BitRobot 列為共同作者,BitRobot 也發布了自己規模較小的 RoboCap 錄製資料,例如 RoboCap-IKEA-500 與 RoboCap-Origami-500。

為何重要

機器人從示範中學習手部技能,而遠端操作能提供的示範少且成本高。人們工作的影片很多,但機器人模仿的是姿態,不是像素:只有在每一幀中都以公尺為單位定位頭部與雙手,畫面才會成為訓練資料。RoboCap-10k 為 10,000 小時的真實工作提供了這些資料,全部來自同一種經過校正的裝置,並保留原始資料串流以便重新產生標註,授權也允許商業使用。它是本目錄中規模最大的第一人稱資料集,同類的還有記錄家務的 Eidon Tracker POV,以及用頭部加雙手裝置記錄無機器人雙手操作的 HiFi-UMI-2K;RoboCap-10k 記錄的是專業技藝工作。它可用於預先訓練 VLA 與世界模型,用於模仿學習,以及從人手到機器人手的動作重定向,並以 LeRobot 格式提供,另有 Rerun 紀錄方便檢視。MINT 等工具能從一般影片估計手部動作;這次發布則直接提供以校正過的立體視覺量測出的結果。

解決的問題

第一人稱影片是最容易擴展的操作資料來源,但多數大型語料沒有公制 3D 標註、混用許多不同裝置,或是在實驗室裡由少數參與者執行安排好的任務錄製而成。RoboCap-10k 提供 10,000 小時未經安排的職業工作,全部來自同一種經過校正的裝置型號,每個片段都附有公制頭部姿態、3D 手部姿態與兩層說明,採用機器人學習工具已能讀取的格式,授權也允許商業使用。

重點

  • 10,000 小時經篩選的真實有償工作,共 1,363,915 個片段,涵蓋 11 個國家的 21 個產業、365 類工作場所與 619 項任務
  • 全部以同一種裝置型號錄製,也就是 RoboCap 帽:六台同步的全域快門攝影機與兩個慣性量測單元(IMU)
  • 每一幀都有與重力對齊的公制 6-DoF 頭部姿態,以及每隻手 21 個關鍵點的 MANO 手部姿態
  • 簡要任務說明與附時間標記的詳細子任務說明,其中 10% 的時數經過人工審核
  • LeRobot 格式用於訓練,Rerun 紀錄用於檢視,並附原始資料串流與逐工作階段的校正
  • CC BY 4.0,允許商業使用;存取需申請核准,影片總量約 108 TB

適用對象

  • 以人類示範資料預先訓練 VLA、世界模型與機器人基礎模型的研究人員
  • 把人手動作轉移到機器人手上、從事靈巧操作的團隊
  • 研究第一人稱影片、SLAM、手部姿態與動作分段的電腦視覺研究人員
  • 想以現有工具可直接讀取的格式取得大規模人類資料的 LeRobot 使用者

限制

  • 這是人類示範,不是機器人動作:用來訓練機器人需要動作重定向,而且人的手臂和機械手臂不同
  • 所有 3D 標註都是模型輸出,不是真值;手部誤差集中在緊握時手指被遮住的地方
  • 精度數據來自 Grounded SI 自己,在其自有的基準上量測,並發表於其技術報告
  • 詳細說明由 Gemini 3.8 Flash 產生;人工只審核了 10% 的時數
  • 收集集中在少數國家,多數產業來自印度,家務工作與單手工作的比例偏低
  • 沒有觸覺或力感測:接觸只能單靠視覺推斷
  • 存取受限:需要申請核准,完整影片約 108 TB,因此多數使用者只會串流讀取或下載其中一部分
  • 人臉由一個在單幀上召回率為 77.3% 的偵測器模糊處理,並藉由跨幀追蹤補漏;卡片並未宣稱能偵測到每一張人臉
  • CC BY 4.0 要求標示姓名,但不授予影片中工作者與旁人的隱私權或肖像權

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。