NVIDIA Human-1M-100K
100.000 ore di video in prima persona di lavoro manuale con pose delle mani e compiti
Licenza
CC BY 4.0
Dati: CC BY 4.0, secondo i Governing Terms della scheda del dataset e il suo tag di licenza su Hugging Face; la scheda li dichiara pronti per uso commerciale e non commerciale. Attribuzione: ogni riutilizzo deve citare NVIDIA e collegare la licenza. Persone nel video: CC BY 4.0 non concede diritti di privacy o all'immagine, e la scheda non descrive il consenso. Prototipi hardware: un repository separato, con il software sotto Apache-2.0 e i progetti hardware sotto CC BY 4.0. Modelli: GR00T 2 non è rilasciato, quindi i suoi termini non sono noti. Verificato il 2026-11-10 su README.md e DATASET_CARD.md del repository del dataset e sui file LICENSE del repository hardware.
Panoramica
Human-1M-100K è la parte pubblicata apertamente di Human-1M, la raccolta di NVIDIA di circa un milione di ore di video in prima persona di persone che svolgono lavoro fisico, registrato con sensori in modo che il video sia accompagnato dal movimento di testa e mani e da linguaggio. Il sottoinsieme aperto contiene 100.000 ore in 3.405.573 episodi, con 406.815 gruppi di compiti registrati, 41.288 raccoglitori, 81.557 scene e nove categorie di ambiente, filmato sia in case e luoghi di lavoro reali sia in studio. Ogni episodio include il video della telecamera sulla testa, mono o stereo e talvolta con telecamere ai polsi, la posa della telecamera sulla testa, 21 punti chiave per mano con la relativa confidenza, un obiettivo in una o due frasi (T1) e una sequenza di azioni temporizzate da 1 a 10 secondi (T2). I dati sono nel formato LeRobot v3.0, con licenza CC BY 4.0 per uso commerciale e non commerciale, e sono stati pubblicati su Hugging Face il 4 novembre 2026. NVIDIA afferma che Human-1M è materiale di addestramento per i suoi modelli Cosmos e GR00T, e la sua pagina di ricerca su GR00T 2 lo indica come fonte del video umano di quel modello.
Human-1M è la raccolta di NVIDIA di dimostrazioni umane registrate con sensori: circa un milione di ore di video egocentrico di persone che lavorano con le mani, dalla preparazione del cibo e il rifornimento degli scaffali all'imballaggio degli ordini, al montaggio di pezzi e alla riparazione di apparecchiature. Il 4 novembre 2026 NVIDIA ne ha pubblicate 100.000 ore come Human-1M-100K su Hugging Face sotto CC BY 4.0. La pubblicazione conta 3.405.573 episodi, 406.815 gruppi di compiti registrati, 41.288 raccoglitori, 81.557 scene e nove categorie di ambiente. Una parte è stata registrata sul campo, in case e luoghi di lavoro reali, e una parte in studio, dove abilità specifiche, montaggi e protocolli di laboratorio si possono ripetere.
Un episodio è una persona che svolge un lavoro utile verso un obiettivo misurabile, di solito qualcosa che richiede da 5 a 10 minuti. Il video deve avere almeno 30 FPS e 480p a velocità reale, con una o entrambe le mani inquadrate per almeno il 95% dell'episodio. La telecamera sulla testa è mono o stereo, e alcuni episodi aggiungono una telecamera su ciascun polso. Ogni fotogramma contiene la posa 6-DoF della telecamera sulla testa, 21 punti chiave per mano come posizioni in metri e rotazioni, e una maschera di presenza e una confidenza per ciascuna mano. Il linguaggio è su due livelli: T1 riassume in una o due frasi l'obiettivo, le azioni principali e gli oggetti chiave, e T2 divide l'intero episodio in segmenti consecutivi da 1 a 10 secondi, ognuno dei quali indica quale mano fa cosa con quale oggetto. Gli episodi registrano anche la calibrazione delle telecamere, un codice paese, se il luogo era pubblico o privato e identificativi pseudonimizzati di raccoglitore, scena e fonte.
NVIDIA descrive quattro controlli di qualità che combinano revisione umana e verifiche automatiche, su annotazione, utilità del compito, diversità e tracciamento 3D. Il suo grafico di audit copre 25 settimane di consegna con 561.000 ore accettate e 461.000 ore inviate e respinte.
I dati sono archiviati come dataset LeRobot v3.0, organizzati per fornitore, lotto e versione, con tabelle Parquet per fotogrammi, episodi, compiti, sotto-compiti, ambienti e scene e un file MP4 per telecamera. Il riferimento dei campi documenta ogni colonna. I dati completi si trovano in un bucket di archiviazione pubblico su Hugging Face, che il 10 novembre 2026 indicava 1.321 TB in 2.561.357 file, quindi la maggior parte degli utenti ne scaricherà una porzione. Per guardare prima di scaricare, il repository del dataset offre brevi clip di anteprima e tre episodi di esempio completi, e l'Human-1M Dataset Explorer mostra nel browser video, ricostruzione 3D, retargeting sui robot, etichette T2 e una ricerca tra i gruppi di compiti.
La pagina di ricerca su GR00T 2 di NVIDIA afferma che il modello è stato preaddestrato su 402.730 ore di video egocentrico umano tratto da Human-1M, insieme a 10.184 ore di dimostrazioni con una pinza portatile e 23.500 ore di teleoperazione di robot. Nel test della stessa NVIDIA, passare da nessun video umano a tutto il video umano ha portato l'avanzamento su 72 compiti robotici dal 50% al 70%. GR00T 2 non è ancora stato rilasciato: la pagina annuncia il codice per dicembre 2026. La scheda del dataset afferma inoltre che Human-1M alimenta i modelli Cosmos di NVIDIA. Separatamente, NVIDIA ha pubblicato i progetti hardware dei dispositivi portatili e indossabili che ha costruito per raccogliere dati per GR00T 2, con il relativo software nel repository dell'hardware di dati GR00T.
Perché è importante
L'apprendimento dei robot richiede molti più esempi di lavoro manuale esperto di quanti i robot possano registrarne: la teleoperazione è lenta e costosa, e al normale video di persone mancano il movimento delle mani e le etichette da cui un modello può imparare azioni. Human-1M-100K offre 100.000 ore di lavoro reale con posa di testa e mani ed etichette di azioni temporizzate già incluse, sotto CC BY 4.0, che consente l'uso commerciale. Questo lo rende il più grande dataset aperto di manipolazione umana egocentrica di questo catalogo, accanto a pubblicazioni più piccole come Eidon Tracker POV e dati di manipolazione senza robot come HiFi-UMI-2K. È materiale per il preaddestramento di modelli Vision-Language-Action (VLA) e modelli del mondo, per la ricerca sull'apprendimento per imitazione e per il retargeting del movimento da mani umane a mani robotiche, e arriva nel formato LeRobot che molti strumenti di apprendimento robotico già leggono. Secondo NVIDIA sono anche i dati umani dietro il prossimo foundation model GR00T, il che permette a chiunque di studiare quei dati prima che il modello stesso sia disponibile.
Il problema che risolve
Insegnare ai robot a usare le mani richiede grandi quantità di dati di dimostrazione, e raccoglierli tramite teleoperazione di robot è lento, costoso e limitato ai compiti che un laboratorio può allestire. Il video di persone al lavoro abbonda, ma non porta con sé né il movimento delle mani né la struttura del compito, quindi un modello non ne può ricavare facilmente azioni. Human-1M-100K fornisce lavoro umano reale su larga scala con le parti mancanti già aggiunte: posa di testa e mani, confidenza per mano, un obiettivo per ogni episodio ed etichette di azioni temporizzate, in un formato LeRobot documentato e con una licenza che consente l'uso commerciale.
Punti chiave
- 100.000 ore di lavoro umano in prima persona, il sottoinsieme aperto della raccolta Human-1M di NVIDIA da un milione di ore
- 3.405.573 episodi da 41.288 raccoglitori in 81.557 scene, 406.815 gruppi di compiti e nove categorie di ambiente
- Video dalla testa mono o stereo, telecamere ai polsi opzionali, posa 6-DoF della telecamera sulla testa e 21 punti chiave per mano con confidenza
- Etichette linguistiche su due livelli: un obiettivo per episodio (T1) e azioni consecutive temporizzate da 1 a 10 secondi (T2)
- Formato LeRobot v3.0, con riferimento dei campi, clip di anteprima, tre episodi di esempio completi e un explorer nel browser
- CC BY 4.0, aperto all'uso commerciale; NVIDIA indica Human-1M come il video umano dietro GR00T 2
A chi si rivolge
- Ricercatori che preaddestrano modelli Vision-Language-Action (VLA), modelli del mondo e foundation model per robot su dati di dimostrazione umana
- Team che lavorano sul trasferimento del movimento delle mani umane a mani robotiche e sulla manipolazione fine
- Ricercatori di visione artificiale che studiano video egocentrico, posa delle mani e segmentazione delle azioni
- Utenti di LeRobot che cercano dati umani su larga scala in un formato che i loro strumenti già leggono
Limiti
- Dimostrazioni umane, non azioni di robot: per addestrare un robot servono retargeting o un modello che impari dal video
- Molto grande: il bucket di archiviazione indicava 1.321 TB in 2.561.357 file il 10 novembre 2026, quindi la maggior parte degli utenti ne scaricherà una parte scelta
- Solo 100.000 delle circa un milione di ore di Human-1M sono aperte; il resto rimane a NVIDIA
- La cartella del bucket si chiama release-staging ed era ancora in aggiornamento il 10 novembre 2026
- Le affermazioni su quanto i dati migliorino i modelli sono di NVIDIA stessa, dalla sua pagina di ricerca su GR00T 2; GR00T 2 non è ancora stato rilasciato
- Registrato da diverse fonti con configurazioni di telecamere diverse, e alcuni campi, come il rig o la categoria di privacy, mancano per alcune fonti
- La scheda non dice come sia stato ottenuto il consenso delle persone riprese né se i volti siano sfocati; gli identificativi sono pseudonimizzati
- CC BY 4.0 richiede l'attribuzione e non concede i diritti di privacy o all'immagine delle persone nel video