Eidon Tracker POV
1,274 小時的第一人稱居家影片,搭配七點手臂 IMU 追蹤
授權條款
CC-BY-4.0
概述
二十七位志願者戴著頭戴式攝影機與七個感測器的 IMU 背帶,在自己家中做真實的家務:摺衣服、打掃、洗碗、烹飪、編織。成果是 13,451 段錄製、總長 1,273.8 小時,每段都將第一人稱影片與雙手、雙前臂、雙上臂及胸部的 24 Hz 方向資料配對。胸部感測器是參考座標系:將它的反向與某一肢段組合,就能得到相對於軀幹的手臂姿態,不受穿戴者面向哪個方向的影響。影片與 IMU 資料分放在兩個以 recording_id 連結的儲存庫中,第三個儲存桶另外存放 306 小時僅有影片的素材。全部採用 CC-BY-4.0。
AgiBot World、DROID、Open X-Embodiment 與 ABC-130k 等大型機器人學習資料集,錄製的是機器人。這個資料集錄製的則是人們以自己的視角進行一般的操作,而且手臂姿勢是量測出來的,而不是推測出來的。從第一人稱影片估測手部姿態是困難且雜訊很多的問題;在這裡,手臂姿勢附有來自穿戴式感測器的真值。
資料卡詳細記錄了資料集本身的弱點。任務分布嚴重偏斜:摺衣服佔全部時數的 67.5%,尾端類別每類不到三小時,因此資料卡警告不要把它當成平衡的九類活動資料集。貢獻者人數少且比重不均,最大的一位提供了 16.1% 的時數,前五位合計 57.2%,因此資料卡建議依 contributor_id 切分:隨機切分會讓同一個人、同一個家與同一套攝影機配置同時出現在訓練集與測試集,使結果虛高。人口統計資料有揭露,並被說明為不具代表性:在有填報的人當中,年齡中位數為 26 歲,17 人中有 15 人為男性。原始的加速度計、陀螺儀與磁力計讀數只涵蓋 2,841 段錄製,而資料卡指出了要篩選的確切欄位。品質控管對每段錄製都執行了 MediaPipe 手部偵測、HSV 亮度、Laplacian 模糊度與光流穩定度檢查;472 段被剔除的錄製也一併收錄並加上標記,作為負面範例。
背後的公司 Eidon AI(以 Solidic Labs Inc 名義營業)已經結束營運。它以 CC-BY-4.0 釋出這些資料,讓資料能比公司存在得更久,這也使這次釋出成為最終版本,而不是承諾後續還有更多的首批釋出。
為何重要
多數大型機器人學習資料集錄製的是被遠端操作的機器人。從人類影片學習的策略需要人類影片,而困難之處一直在於知道手臂實際上在做什麼:從第一人稱攝影機估測姿態,在手腕處並不可靠,在肩膀處更糟。在身上配戴七個 IMU,錄下 1,274 小時真實的家務工作,直接解決了這個問題,而且資料以寬鬆授權釋出。
解決的問題
從人類影片學習操作,需要知道手臂在做什麼,而從第一人稱攝影機還原這些資訊並不可靠。這個資料集直接記錄了它:在影片之外,提供七個穿戴式感測器的 24 Hz 方向資料,涵蓋一千多小時未經安排的家務工作,並可免費商業使用。
重點
- 13,451 段錄製、1,273.8 小時、27 位貢獻者,9.05 TB 的 1080p 到 4K MP4
- 七個 9 軸 IMU,24 Hz:雙手、雙前臂、雙上臂與胸部,其中胸部作為相對於軀幹的參考座標系
- 影片與 IMU 是以 recording_id 連結的獨立儲存庫;第三個儲存桶另外加入 37 位貢獻者的 306 小時僅有影片的素材
- 真實家庭中的真實家務,而不是安排好的示範:洗衣、打掃、洗碗、烹飪、繪畫、編織、鋪床、澆花
- 每段錄製都附有品質控管指標與 valid/flagged/invalid 狀態;472 段 invalid 錄製被刻意納入作為負面範例
- 資料卡點出了各種陷阱:任務偏斜、隨機切分造成的貢獻者洩漏、稀少的人口統計資料,以及哪個中繼資料欄位才真正表示有原始動作資料
- CC-BY-4.0,標示出處即可商業使用,在背後的公司結束營運後以最終版本發布
適用對象
- 任何以人類示範影片訓練操作策略或世界模型的人
- 研究第一人稱手部與手臂姿態估測、需要真值來評估的研究人員
- 為日常生活活動建立活動辨識的團隊,無論是在輔助型機器人或其他領域
- 研究視覺與穿戴式 IMU 之間感測器融合的人
- 任何想取得大規模居家操作資料、又不想自己蒐集的人
限制
- 摺衣服佔全部時數的 67.5%;尾端活動每類不到三小時,無法單獨支撐一個類別
- 二十七位貢獻者中,前五位提供了 57.2% 的時數;請依 contributor_id 切分,否則你的評估會讓同一個人、同一個家與同一套配置同時出現在兩邊
- 人口統計資料稀少且偏斜:在有填報的人當中,年齡中位數 26 歲,17 人中有 15 人為男性
- 原始的加速度計、陀螺儀與磁力計資料只涵蓋 13,451 段錄製中的 2,841 段;方向四元數全程都有,但原始資料流是選擇性提供的
- 影片未經處理:沒有臉部模糊或遮蔽,是在私人住家中錄製的,資料卡也明確表示,無法排除意外拍到臉部、文件或螢幕的可能
- 光是影片就有 9.05 TB,所以這不是可以隨手下載的資料集
- 攝影機與 IMU 之間沒有硬體同步;對齊依靠時間戳記,作者描述其偏移為循序執行程式碼所造成的幾毫秒
- 製作它的組織已經結束營運,因此不會有修正,不會有 v2,除了資料卡上的移除申請地址之外,也沒有人能回答問題