NVIDIA Human-1M-100K
100.000 Stunden Ich-Perspektive-Video von Handarbeit mit Handposen und Aufgabenlabels
Lizenz
CC BY 4.0
Daten: CC BY 4.0, laut den Governing Terms in der Datensatzkarte und ihrem Lizenz-Tag auf Hugging Face; die Karte nennt die Daten bereit für kommerzielle und nichtkommerzielle Nutzung. Namensnennung: Eine Weiterverwendung muss NVIDIA nennen und auf die Lizenz verlinken. Menschen im Video: CC BY 4.0 lizenziert keine Persönlichkeits- oder Bildrechte, und die Karte beschreibt keine Einwilligung. Hardware-Prototypen: ein eigenes Repository, Software unter Apache-2.0 und Hardware-Designs unter CC BY 4.0. Modelle: GR00T 2 ist nicht veröffentlicht, seine Bedingungen sind daher nicht bekannt. Geprüft am 2026-11-10 anhand von README.md und DATASET_CARD.md im Datensatz-Repository und der LICENSE-Dateien des Hardware-Repositorys.
Überblick
Human-1M-100K ist der offen veröffentlichte Teil von Human-1M, NVIDIAs Sammlung von rund einer Million Stunden Video aus der Ich-Perspektive von Menschen bei körperlicher Arbeit, aufgenommen mit Sensoren, sodass zum Video Kopf- und Handbewegung sowie Sprache gehören. Die offene Teilmenge umfasst 100.000 Stunden in 3.405.573 Episoden, mit 406.815 erfassten Aufgabenclustern, 41.288 Aufnehmenden, 81.557 Szenen und neun Umgebungskategorien, gefilmt sowohl in echten Wohnungen und Arbeitsstätten als auch in Studios. Jede Episode enthält Video der Kopfkamera, mono oder stereo und teils mit Handgelenkkameras, die Pose der Kopfkamera, 21 Keypoints pro Hand mit Konfidenz, ein Ziel in ein bis zwei Sätzen (T1) und eine Folge zeitlich markierter Handlungen von 1 bis 10 Sekunden (T2). Die Daten liegen im Format LeRobot v3.0 vor, stehen unter CC BY 4.0 für kommerzielle und nichtkommerzielle Nutzung und wurden am 4. November 2026 auf Hugging Face veröffentlicht. Laut NVIDIA ist Human-1M Trainingsmaterial für seine Modelle Cosmos und GR00T, und die Forschungsseite zu GR00T 2 nennt den Datensatz als Quelle der menschlichen Videos dieses Modells.
Human-1M ist NVIDIAs Sammlung sensorisch erfasster menschlicher Demonstrationen: rund eine Million Stunden Video aus der Ich-Perspektive von Menschen, die mit ihren Händen arbeiten, vom Zubereiten von Essen und Einräumen von Regalen bis zum Verpacken von Bestellungen, Montieren von Teilen und Reparieren von Geräten. Am 4. November 2026 veröffentlichte NVIDIA 100.000 Stunden davon als Human-1M-100K auf Hugging Face unter CC BY 4.0. Die Veröffentlichung zählt 3.405.573 Episoden, 406.815 erfasste Aufgabencluster, 41.288 Aufnehmende, 81.557 Szenen und neun Umgebungskategorien. Ein Teil wurde im Alltag aufgenommen, in echten Wohnungen und Arbeitsstätten, ein Teil in Studios, in denen sich bestimmte Fertigkeiten, Montagen und Laborabläufe wiederholen lassen.
Eine Episode ist eine Person, die eine nützliche Arbeit auf ein messbares Ziel hin erledigt, meist etwas, das 5 bis 10 Minuten dauert. Das Video muss mindestens 30 FPS und 480p in unveränderter Geschwindigkeit haben, mit einer oder beiden Händen im Bild während mindestens 95% der Episode. Die Kopfkamera ist mono oder stereo, und manche Episoden haben zusätzlich an jedem Handgelenk eine Kamera. Jedes Frame enthält die 6-DoF-Pose der Kopfkamera, 21 Keypoints pro Hand als Positionen in Metern und Rotationen sowie für jede Hand eine Sichtbarkeitsmaske und eine Konfidenz. Sprache gibt es auf zwei Ebenen: T1 fasst in ein bis zwei Sätzen das Ziel, die wichtigsten Handlungen und die zentralen Objekte zusammen, und T2 teilt die ganze Episode in aufeinanderfolgende Abschnitte von 1 bis 10 Sekunden, die jeweils angeben, welche Hand was mit welchem Objekt tut. Episoden erfassen außerdem die Kamerakalibrierung, einen Ländercode, ob der Ort öffentlich oder privat war, und pseudonymisierte Kennungen für Aufnehmende, Szenen und Quellen.
NVIDIA beschreibt vier Qualitätsstufen, die menschliche Prüfung und automatische Kontrollen verbinden und Annotation, Nutzen der Aufgabe, Vielfalt und 3D-Tracking abdecken. Das eigene Prüfdiagramm umfasst 25 Lieferwochen mit 561.000 angenommenen und 461.000 abgelehnten eingereichten Stunden.
Die Daten liegen als Datensätze im Format LeRobot v3.0 vor, gegliedert nach Anbieter, Charge und Version, mit Parquet-Tabellen für Frames, Episoden, Aufgaben, Teilaufgaben, Umgebungen und Szenen und einer MP4-Datei pro Kamera. Die Feldreferenz dokumentiert jede Spalte. Die vollständigen Daten liegen in einem öffentlichen Storage Bucket auf Hugging Face, der am 10. November 2026 1.321 TB in 2.561.357 Dateien meldete, daher werden die meisten Nutzer nur einen Ausschnitt laden. Zum Ansehen vor dem Download bietet das Datensatz-Repository kurze Vorschauclips und drei vollständige Beispielepisoden, und der Human-1M Dataset Explorer zeigt im Browser Video, 3D-Rekonstruktion, Retargeting auf Roboter, T2-Labels und eine Suche über die Aufgabencluster.
Laut NVIDIAs Forschungsseite zu GR00T 2 wurde das Modell auf 402.730 Stunden egozentrischem Video von Menschen aus Human-1M vortrainiert, zusammen mit 10.184 Stunden Demonstrationen mit einem handgeführten Greifer und 23.500 Stunden Teleoperation von Robotern. In NVIDIAs eigenem Test steigerte der Schritt von keinem zum gesamten menschlichen Video den Aufgabenfortschritt bei 72 Roboteraufgaben von 50% auf 70%. GR00T 2 selbst ist noch nicht veröffentlicht: Die Seite kündigt den Code für Dezember 2026 an. Laut Datensatzkarte treibt Human-1M auch NVIDIAs Cosmos-Modelle an. Unabhängig davon hat NVIDIA die Hardware-Designs der handgeführten und tragbaren Geräte veröffentlicht, die es zum Sammeln von Daten für GR00T 2 gebaut hat, mit ihrer Software im Repository für GR00T-Datenhardware.
Warum es wichtig ist
Robot Learning braucht weit mehr Beispiele geschickter Handarbeit, als Roboter aufzeichnen können: Teleoperation ist langsam und teuer, und gewöhnlichem Video von Menschen fehlen die Handbewegung und die Labels, aus denen ein Modell Handlungen lernen kann. Human-1M-100K bietet 100.000 Stunden echter Arbeit mit bereits beigefügter Kopf- und Handpose und zeitlich markierten Handlungslabels, unter CC BY 4.0, das kommerzielle Nutzung erlaubt. Damit ist es der größte offene egozentrische Datensatz menschlicher Manipulation in diesem Katalog, neben kleineren Veröffentlichungen wie Eidon Tracker POV und robotorfreien Manipulationsdaten wie HiFi-UMI-2K. Es ist Material für das Vortraining von VLA- und Weltmodellen, für die Forschung zu Imitation Learning und für Motion Retargeting von menschlichen Händen auf Roboterhände, und es kommt im Format LeRobot, das viele Werkzeuge für Robot Learning schon lesen. Nach NVIDIAs Darstellung sind es zudem die menschlichen Daten hinter dem nächsten Foundation Model der GR00T-Reihe, sodass jeder diese Daten untersuchen kann, bevor das Modell selbst erscheint.
Welches Problem es löst
Robotern den Umgang mit ihren Händen beizubringen erfordert große Mengen an Demonstrationsdaten, und sie per Teleoperation von Robotern zu sammeln ist langsam, teuer und auf die Aufgaben beschränkt, die ein Labor nachstellen kann. Video von Menschen bei echter Arbeit gibt es reichlich, doch ihm fehlen Handbewegung und Aufgabenstruktur, sodass ein Modell daraus nicht leicht Handlungen lernen kann. Human-1M-100K liefert echte menschliche Arbeit in großem Umfang, bei der die fehlenden Teile schon ergänzt sind: Kopf- und Handpose, Konfidenz pro Hand, ein Ziel für jede Episode und zeitlich markierte Handlungslabels, in einem dokumentierten LeRobot-Format und unter einer Lizenz, die kommerzielle Nutzung erlaubt.
Wichtigste Punkte
- 100.000 Stunden menschlicher Arbeit aus der Ich-Perspektive, die offene Teilmenge von NVIDIAs Sammlung Human-1M mit einer Million Stunden
- 3.405.573 Episoden von 41.288 Aufnehmenden in 81.557 Szenen, 406.815 Aufgabenclustern und neun Umgebungskategorien
- Kopfvideo mono oder stereo, optionale Handgelenkkameras, 6-DoF-Pose der Kopfkamera und 21 Keypoints pro Hand mit Konfidenz
- Sprachlabels auf zwei Ebenen: ein Ziel pro Episode (T1) und aufeinanderfolgende, zeitlich markierte Handlungen von 1 bis 10 Sekunden (T2)
- Format LeRobot v3.0, mit Feldreferenz, Vorschauclips, drei vollständigen Beispielepisoden und einem Explorer im Browser
- CC BY 4.0, offen für kommerzielle Nutzung; NVIDIA nennt Human-1M als Quelle der menschlichen Videos hinter GR00T 2
Für wen
- Forschende, die VLA-Modelle, Weltmodelle und Foundation Models für Roboter mit menschlichen Demonstrationsdaten vortrainieren
- Teams, die menschliche Handbewegung auf Roboterhände übertragen und an geschickter Manipulation arbeiten
- Forschende in Computer Vision, die egozentrisches Video, Handposen und Handlungssegmentierung untersuchen
- LeRobot-Nutzer, die menschliche Daten in großem Umfang in einem Format suchen, das ihre Werkzeuge schon lesen
Einschränkungen
- Menschliche Demonstrationen, keine Roboteraktionen: Um damit einen Roboter zu trainieren, braucht es Retargeting oder ein Modell, das aus Video lernt
- Sehr groß: Der Storage Bucket meldete am 10. November 2026 1.321 TB in 2.561.357 Dateien, daher werden die meisten Nutzer einen ausgewählten Teil laden
- Nur 100.000 der rund eine Million Stunden von Human-1M sind offen; der Rest bleibt bei NVIDIA
- Der Ordner im Bucket heißt release-staging und wurde am 10. November 2026 noch aktualisiert
- Aussagen darüber, wie stark die Daten Modelle verbessern, stammen von NVIDIA selbst, von seiner Forschungsseite zu GR00T 2; GR00T 2 selbst ist noch nicht veröffentlicht
- Aufgenommen von mehreren Quellen mit unterschiedlichen Kamera-Setups, und manche Felder, etwa das Rig oder die Datenschutzkategorie, fehlen bei einigen Quellen
- Die Karte sagt nicht, wie die Einwilligung der gefilmten Personen eingeholt wurde oder ob Gesichter unkenntlich gemacht sind; Kennungen sind pseudonymisiert
- CC BY 4.0 verlangt Namensnennung und lizenziert nicht die Persönlichkeits- und Bildrechte der Menschen im Video