Gen-HumanEgo
附 3D 手部追蹤、深度與任務標籤的第一人稱人類示範
授權條款
CC-BY-SA-4.0
概述
Gen-HumanEgo 是一個用於機器人學習的第一人稱人類示範開放資料集,由 GenRobot.AI 以 Hugging Face 資料集的形式、依 CC-BY-SA-4.0 授權發布。它包含 1,847.7 小時、44,632 個片段,涵蓋家庭、商業、工業與農業中的 10,257 項不同任務,由配戴 GenRobot 六攝影機 DAS-Ego 頭帶的人以自己的方式工作時錄製。
每個片段是一個 MCAP 錄製檔,結合全部六台攝影機的同步影片(1600 × 1300、30 FPS)與三種衍生標籤:3D 手部重建(每隻手 21 個關鍵點、MANO 參數與完整手部網格)、大視野深度圖,以及階層式標註,以時間邊界與 is_success 旗標描述整個片段、每項任務與每個子任務。這些標籤由 GenRobot 自己的 Data Foundation Model 從多攝影機影片產生;該模型並未發布。
資料採用開放授權但需申請存取:你需要 Hugging Face 帳號,並填寫一份關於預期用途的簡短表單,之後會自動獲得存取權。GenRobot 也發布了 DAS DataKit(MIT),用於讀取、驗證、視覺化與轉換這些檔案。它與 GenRobot 的 RealOmni-Open 是不同的發布。
資料集以目錄樹組織,依照其情境與技能階層排列,例如 industry/logistics/sorting_and_packing/daily_work,最後是一個兩字元的前綴資料夾與該片段的 MCAP 檔案。儲存庫也提供 egov4_urdf.zip,這是 DAS-Ego 頭帶連桿與感測器座標框架的 URDF,因此攝影機姿態可以放進共同的座標系中。
在一個片段內,多視角 RGB 串流位於 /robot0/sensor/camera…/compressed 下,左右手重建位於 /robot0/handtracking/ 下,深度位於 /robot0/sensor/camera2/depth 下,標註則位於 /robot0/annotation_v2/ 下。所有訊號共用一個時空座標系。標註分為三個層級:整段影片的描述;附目標、場景與時間範圍的任務;以及附物件、屬性、空間關係與每次嘗試是否成功的細粒度子任務,因此失敗與重試的動作都保留在紀錄中。
GenRobot 根據自己的評估回報,相對於動作擷取參考,手部追蹤誤差在一公分以內,深度涵蓋 157° × 132°,在 1 m 處精度為 ±4%,填補率至少 99.5%。這些數字來自 GenRobot 2026 年 9 月 23 日的技術部落格,尚未經過獨立重現。DAS-Ego 資料介紹記錄了主題、訊息結構描述、座標系與時間戳記,而瀏覽器檢視器不需撰寫程式碼即可播放片段。
為何重要
機器人學習缺乏能呈現熟練的人手實際如何完成日常工作的資料。人的影片很多,但沒有結構;機器人遠端操作資料有結構,但收集起來既慢又昂貴。Gen-HumanEgo 介於兩者之間:從配戴者視角錄製的一般人類工作,已附上 3D 手部動作、場景深度與任務結構。這正是研究人員用來預訓練 VLA 模型,以及研究從人手到機器手之動作重定向的素材,而且它以允許商業使用的授權發布。它與目錄中其他開放的第一人稱資料並列,例如 Eidon Tracker POV,以及 WUJI 的 MINT 等將一般第一人稱影片轉換為手部動作的工具。
解決的問題
要訓練機器人像人一樣操作,需要在時間上對齊的範例,說明雙手在 3D 中的位置、周遭場景的樣子,以及這個人想做什麼。從零開始收集並標註這些資料,需要擷取硬體、手部追蹤與深度流程,以及大多數實驗室無法負擔的標註工作。Gen-HumanEgo 以可直接載入的形式提供這些資料:多視角影片搭配對齊的手部網格、深度與任務分段,採用有文件說明的格式,並附可讀取它的開放工具。
重點
- 1,847.7 小時的第一人稱人類示範,共 44,632 個片段,涵蓋家庭、商業、工業與農業中的 10,257 項不同任務
- 每個片段有六台同步攝影機,附 3D 手部重建(21 個關鍵點、MANO 參數、手部網格)、大視野深度與階層式任務標註
- 標註記錄每個子任務的時間範圍與是否成功,保留了失敗與重試的嘗試
- 採用 CC-BY-SA-4.0,在 Hugging Face 上需填寫自動核准的存取表單;MCAP 檔案約 62 TB
- 開放的 MIT 授權 DAS DataKit、瀏覽器檢視器,以及完整的主題與結構描述文件;標註模型本身為專有
適用對象
- 以人類示範資料預訓練 VLA 與操作模型的研究人員
- 研究從人手動作到機器手的重定向,以及靈巧操作的團隊
- 從事第一人稱手部追蹤、深度與活動分段研究的電腦視覺研究人員
限制
- 需申請存取:即使授權是開放的,下載仍需要登入 Hugging Face 並填寫存取表單
- 非常龐大,總計約 62 TB,因此大多數使用者會下載選定的領域或任務
- 手部、深度與標註標籤來自 GenRobot 專有的 Data Foundation Model;精度數字是 GenRobot 自己的,且模型並未發布
- 這是人類示範,而非機器人動作:要用來訓練機器人,需要重定向到機器人的身體
- 以 GenRobot 的 DAS-Ego 頭帶錄製,因此攝影機配置與魚眼幾何是該裝置特有的
- CC-BY-SA-4.0 是相同方式分享授權:由它衍生的資料集必須以相同授權發布