NVIDIA Human-1M-100K
100,000 小時第一人稱手作勞動影片,附手部姿態與帶時間的任務標註
授權條款
CC BY 4.0
資料:CC BY 4.0,依據資料集卡片中的 Governing Terms 及其在 Hugging Face 上的授權標籤;卡片表示資料可供商業與非商業使用。標示出處:再利用時須註明 NVIDIA 並連結授權條款。影片中的人:CC BY 4.0 不授予隱私權或肖像權,卡片也未說明同意方式。硬體原型:位於另一個儲存庫,軟體採用 Apache-2.0,硬體設計採用 CC BY 4.0。模型:GR00T 2 尚未釋出,其條款未知。2026-11-10 對照資料集儲存庫中的 README.md 與 DATASET_CARD.md,以及硬體儲存庫的 LICENSE 檔案查核。
概述
Human-1M-100K 是 Human-1M 中公開釋出的部分。後者是 NVIDIA 蒐集的約一百萬小時第一人稱影片,記錄人們從事體力工作的過程,並以感測器同步擷取,讓影片附帶頭部與手部動作以及語言描述。這個開放子集包含 100,000 小時、3,405,573 個片段(episode),涵蓋 406,815 個已記錄的任務群、41,288 位蒐集者、81,557 個場景與九類環境,拍攝地點既有真實的住家與工作場所,也有攝影棚。每個片段都包含頭戴攝影機影片(單眼或雙眼,部分另有手腕攝影機)、頭戴攝影機位姿、每隻手 21 個附信賴度的關鍵點、一到兩句的目標描述(T1),以及一連串 1 到 10 秒的帶時間動作(T2)。資料採用 LeRobot v3.0 格式,以 CC BY 4.0 授權,可供商業與非商業使用,於 2026年11月4日 在 Hugging Face 上發布。NVIDIA 表示 Human-1M 是其 Cosmos 與 GR00T 模型的訓練資料,其 GR00T 2 研究頁面也將它列為該模型人類影片的來源。
Human-1M 是 NVIDIA 以感測器記錄的人類示範合集:約一百萬小時第一人稱影片,記錄人們用雙手工作,從備餐、上架補貨,到包裝訂單、組裝零件與維修設備。2026年11月4日,NVIDIA 以 CC BY 4.0 授權在 Hugging Face 上釋出其中 100,000 小時,名為 Human-1M-100K。這次釋出共有 3,405,573 個片段、406,815 個已記錄的任務群、41,288 位蒐集者、81,557 個場景與九類環境。一部分在實際環境中錄製,也就是真實的住家與工作場所;另一部分在攝影棚中錄製,方便重複特定技能、組裝與實驗室流程。
一個片段是一個人朝著可衡量的目標完成一項有用的工作,通常需要 5 到 10 分鐘。影片必須至少為 30 FPS、480p,維持原速,且在至少 95% 的時間內畫面中有一隻或兩隻手。頭戴攝影機為單眼或雙眼,部分片段另在每隻手腕各加裝一台攝影機。每一格畫面都帶有頭戴攝影機的 6-DoF 位姿、每隻手 21 個關鍵點(以公尺為單位的位置與旋轉),以及每隻手的可見遮罩與信賴度。語言標註分兩層:T1 以一到兩句話概述目標、主要動作與關鍵物件;T2 將整個片段切成連續的 1 到 10 秒區段,每段都寫明哪隻手對哪個物件做了什麼。片段也記錄了攝影機校正、國家代碼、拍攝地點屬於公共或私人場所,以及經過假名化處理的蒐集者、場景與來源識別碼。
NVIDIA 說明了四道品質關卡,結合人工審查與自動檢查,涵蓋標註、任務價值、多樣性與 3D 追蹤。其自有的稽核圖表涵蓋 25 個交付週,接受 561,000 小時,退回送審的 461,000 小時。
資料以 LeRobot v3.0 資料集的形式儲存,依供應商、批次與版本整理,以 Parquet 表格存放畫面、片段、任務、子任務、環境與場景,每台攝影機各有一個 MP4 檔案。欄位說明 記錄了每一欄的意義。完整資料存放在 Hugging Face 的公開 儲存桶 中,2026年11月10日 顯示為 1,321 TB、2,561,357 個檔案,因此多數使用者只會下載其中一部分。下載前若想先看看,資料集儲存庫提供簡短的預覽片段與三個 完整範例片段,Human-1M Dataset Explorer 則可在瀏覽器中檢視影片、3D 重建、機器人重定向、T2 標註,並依任務群搜尋。
NVIDIA 的 GR00T 2 研究頁面 指出,該模型以來自 Human-1M 的 402,730 小時第一人稱人類影片進行預訓練,另外還使用 10,184 小時手持夾爪示範與 23,500 小時機器人遠端操作資料。在 NVIDIA 自己的測試中,人類影片從完全不用增加到全部使用,讓 72 項機器人任務的任務進度從 50% 提升到 70%。GR00T 2 本身尚未釋出:頁面寫明程式碼將於 2026年12月 提供。資料集卡片也提到 Human-1M 為 NVIDIA 的 Cosmos 模型提供資料。此外,NVIDIA 公開了為蒐集 GR00T 2 資料而打造的手持與穿戴式裝置的 硬體設計,其軟體位於 GR00T 資料硬體儲存庫。
為何重要
機器人學習需要的熟練手部操作範例,遠多於機器人自己能錄製的數量:遠端操作既慢又貴,而一般的人類影片缺少手部動作與標註,模型難以從中學到動作。Human-1M-100K 提供 100,000 小時的真實工作資料,已附上頭部與手部姿態及帶時間的動作標註,採用允許商業使用的 CC BY 4.0 授權。這使它成為本目錄中最大的開放第一人稱人類操作資料集,同類的還有規模較小的 Eidon Tracker POV,以及不需機器人的操作資料 HiFi-UMI-2K。它可用於預訓練 VLA 與世界模型,用於模仿學習研究,以及從人手到機器人手的動作重定向,並採用許多機器人學習工具已能讀取的 LeRobot 格式。依 NVIDIA 的說法,它也是下一代 GR00T 基礎模型背後的人類資料,因此任何人都能在模型釋出前先研究這些資料。
解決的問題
教機器人使用雙手需要大量示範資料,而透過機器人遠端操作蒐集既慢又貴,也只能涵蓋實驗室能夠布置的任務。人們實際工作的影片很多,卻沒有手部動作與任務結構,模型難以從中學到動作。Human-1M-100K 提供大規模的真實人類工作資料,並已補齊缺少的部分:頭部與手部姿態、每隻手的信賴度、每個片段的目標與帶時間的動作標註,採用有文件說明的 LeRobot 格式,授權允許商業使用。
重點
- 100,000 小時第一人稱人類工作影片,是 NVIDIA 一百萬小時 Human-1M 合集的開放子集
- 3,405,573 個片段,來自 41,288 位蒐集者,涵蓋 81,557 個場景、406,815 個任務群與九類環境
- 單眼或雙眼頭戴影片、選配手腕攝影機、頭戴攝影機 6-DoF 位姿,以及每隻手 21 個附信賴度的關鍵點
- 兩層語言標註:每個片段一個目標(T1),以及連續的 1 到 10 秒帶時間動作(T2)
- LeRobot v3.0 格式,附欄位說明、預覽片段、三個完整範例片段與瀏覽器端瀏覽工具
- CC BY 4.0,可商業使用;NVIDIA 指出 Human-1M 是 GR00T 2 背後的人類影片來源
適用對象
- 以人類示範資料預訓練 VLA、世界模型與機器人基礎模型的研究人員
- 研究將人手動作轉移到機器人手及靈巧操作的團隊
- 研究第一人稱影片、手部姿態與動作切分的電腦視覺研究人員
- 想以現有工具可直接讀取的格式取得大規模人類資料的 LeRobot 使用者
限制
- 這是人類示範而非機器人動作:要用來訓練機器人,需要動作重定向,或能從影片學習的模型
- 資料量非常大:2026年11月10日 儲存桶顯示為 1,321 TB、2,561,357 個檔案,多數使用者只會下載選定的部分
- Human-1M 約一百萬小時中只有 100,000 小時開放,其餘仍由 NVIDIA 保留
- 儲存桶中的資料夾名為 release-staging,在 2026年11月10日 仍在更新
- 關於這些資料能讓模型進步多少的說法來自 NVIDIA 自己的 GR00T 2 研究頁面;GR00T 2 本身尚未釋出
- 資料由多個來源錄製,攝影機配置各不相同,部分來源缺少某些欄位,例如裝置編號或隱私類別
- 資料卡片沒有說明如何取得被拍攝者的同意,也沒有說明是否對臉部做模糊處理;識別碼已經假名化
- CC BY 4.0 要求標示出處,且不授予影片中人物的隱私權或肖像權