RoboCap-10k
10.000 Stunden bezahlte Arbeit aus Ich-Perspektive mit metrischer 3D-Kopf- und Handpose
Lizenz
CC BY 4.0
Daten: CC BY 4.0, laut dem Lizenzabschnitt der Datensatzkarte, ihrem Lizenz-Tag auf Hugging Face und dem technischen Bericht; laut Karte dürfen die Daten für jeden Zweck genutzt werden, auch kommerziell, mit Namensnennung durch Zitieren des Papers. Zugang: zugangsbeschränkt; Grounded SI genehmigt jede Anfrage, und das Formular verlangt die Zusage, niemanden im Datensatz zu re-identifizieren. Menschen im Video: Laut Karte haben die Beschäftigten Einwilligungserklärungen unterschrieben und Gesichter sind unkenntlich gemacht, doch CC BY 4.0 lizenziert keine Persönlichkeits- oder Bildrechte, und der Bericht überlässt die Einhaltung des örtlichen Arbeits- und Datenschutzrechts dem Partner im jeweiligen Land. Verwandte Datensätze: BitRobots RoboCap-LiDAR-100 steht unter CC BY-NC 4.0, nur nichtkommerziell, während RoboCap-IKEA-500 und RoboCap-Origami-500 unter CC BY 4.0 stehen. Kartenbild: ein Frame aus Grounded SIs eigener Vorschau einer Episode des Datensatzes; Namensnennung Grounded Superintelligence. Geprüft am 2026-11-12 anhand der Datensatzkarte, des technischen Berichts und der Datensatzkarten von BitRobot.
Überblick
RoboCap-10k ist ein egozentrischer Datensatz von Grounded Superintelligence: 10.000 kuratierte Stunden von Menschen bei ihrer bezahlten Arbeit, gefilmt mit einer Kamerakappe und versehen mit metrischer 3D-Bewegung von Kopf und Händen. Er umfasst 1.363.915 Episoden aus 21 Branchen, 365 Arten von Arbeitsstätten und 619 Aufgaben, aufgenommen in 11 Ländern, von der Brotherstellung und dem Nähen von Kleidung bis zur Motorreparatur, zum Löten von Leiterplatten und zum Binden von Bewehrungsstahl. Jede Stunde wurde mit demselben Gerät aufgenommen, der RoboCap, einer 250 g leichten Kappe mit sechs synchronisierten Global-Shutter-Kameras und zwei IMUs, und mit derselben 3D-Pipeline verarbeitet. Jedes Frame enthält eine an der Schwerkraft ausgerichtete 6-DoF-Kopfpose und MANO-Handparameter mit 21 Keypoints pro Hand im Weltkoordinatensystem, und jede Episode hat eine kurze Aufgabenbeschreibung und zeitlich markierte Beschreibungen der Teilaufgaben. Die Daten liegen im LeRobot-Format und als Rerun-Aufzeichnungen vor, zusammen mit den Rohstreams der Kameras, unter CC BY 4.0. Der Datensatz wurde am 7. November 2026 auf Hugging Face veröffentlicht, der Zugang wird auf Anfrage gewährt.
RoboCap-10k ist ein Datensatz echter Berufsarbeit aus der Ich-Perspektive zum Training von Robot Policies und Weltmodellen, veröffentlicht von Grounded Superintelligence auf Hugging Face unter CC BY 4.0. Die Beschäftigten trugen während ihrer normalen bezahlten Schichten von 6 bis 12 Stunden eine Kamerakappe, und nichts wurde für die Kamera vorgegeben oder inszeniert. Die kuratierte Veröffentlichung umfasst 10.000 Stunden in 1.363.915 Episoden von 10 bis 600 Sekunden, mit einem Median von 17,8 Sekunden. Sie deckt 21 Branchen, 365 Arten von Arbeitsstätten und 619 Aufgaben ab, aufgenommen in 11 Ländern: Indien, Nigeria, Kolumbien, den Vereinigten Staaten, dem Vereinigten Königreich, Mexiko, Chile, Malaysia, den Philippinen, Indonesien und Spanien. Die Aufgaben sind nach Schwierigkeit eingestuft, 170 leichte, 277 mittlere und 172 schwere, wobei die schweren Facharbeit sind, etwa das Löten von Bauteilen auf Leiterplatten, das Binden von Bewehrungskörben oder industrielles Nähen.
Alles wurde mit einem Gerätemodell aufgenommen, der RoboCap: einer 250 g leichten Kappe mit sechs Global-Shutter-Kameras mit 1080p und 30 Hz, ausgelöst von einem gemeinsamen Hardware-Trigger, und zwei IMUs mit 200 Hz. Zwei Fisheye-Stereopaare halten die Hände im gesamten Greifraum in einem metrischen Stereobild, und zwei seitliche Weitwinkelkameras erfassen Griffe, die es verlassen. Grounded SI kalibriert die Kameras jeder Aufnahmesitzung anhand des Materials selbst neu und gibt an, dass jedes veröffentlichte Gerät unter 1 px mittlerem epipolarem Fehler bleibt. Kopftrajektorien stammen aus visuell-inertialem SLAM mit mehreren Kameras und nachträglicher Bündelausgleichung, und die Hände aus einem Multi-View-Tracker, der ein einziges MANO-Handmodell über alle Kameras anpasst. Gegenüber Motion Capture meldet Grounded SI einen medianen Fehler der Kopftrajektorie von 3,0 mm und einen Handfehler von 4,5 mm PA-MPJPE; das sind eigene Messungen, beschrieben im technischen Bericht.
Sprache gibt es auf zwei Ebenen: eine knappe Beschreibung pro Intervall und darin aufeinanderfolgende, detaillierte Beschreibungen der Teilaufgaben. Die detaillierten Beschreibungen erzeugt Gemini 3.8 Flash aus den beiden Frontkameras, und Menschen prüften die Beschreibungen für 1.000 Stunden, 10% des Korpus, anhand des Videos.
Jede Episode gibt es in zwei Formen. Das LeRobot-Format dient dem Training, mit einer H.265-MP4-Datei pro Kamera und Parquet-Tabellen mit Kopfpose, Handpose und IMU-Messwerten, indiziert nach Frame. Eine Rerun-Aufzeichnung zeigt die sechs Streams, die Kopftrajektorie und die Handmeshes in einem gemeinsamen 3D-Weltkoordinatensystem. Jede Episode enthält außerdem ihre Kalibrierung und eine JSON-Datei mit Taxonomie-Labels, Beschreibungen und Qualitätsstatistiken, und die Rohstreams werden mitveröffentlicht, damit sich die Labels prüfen und neu erzeugen lassen. Das Video umfasst etwa 108 TB und liegt in einem Storage Bucket auf Hugging Face, aus dem LeRobot streamen kann. Für den Zugang ist eine Anfrage auf der Datensatzseite nötig, die Grounded SI nach eigener Angabe innerhalb von 2 bis 3 Werktagen prüft. Ohne Konto lassen sich auf der Vorschauseite des Datensatzes 1.794 Episoden mit Beschreibung, Land und Arbeitsbereich durchsuchen und in einem Rerun-Viewer abspielen.
Zum Datenschutz sagt die Karte, dass alle Beschäftigten eine Einwilligungserklärung unterschrieben haben, alle Partnerunternehmen eine Datenvereinbarung unterzeichnet haben und die Tragenden zusätzlich zu ihrem Lohn bezahlt werden. Ton wurde nicht aufgenommen, Gesichter werden von Grounded SIs eigenem Detektor dauerhaft unkenntlich gemacht, und die Metadaten nennen nur Land und Art der Arbeitsstätte. Die Ankündigung nennt BitRobot als Mitautor, und BitRobot hat eigene, kleinere RoboCap-Aufnahmen veröffentlicht, etwa RoboCap-IKEA-500 und RoboCap-Origami-500.
Warum es wichtig ist
Roboter lernen Handfertigkeiten aus Demonstrationen, und Teleoperation liefert davon wenige zu hohen Kosten. Video von arbeitenden Menschen gibt es reichlich, doch ein Roboter ahmt Posen nach, keine Pixel: Material wird erst dann zu Trainingsdaten, wenn Kopf und Hände in jedem Frame in Metern verortet sind. RoboCap-10k liefert das für 10.000 Stunden echter Arbeit von einem kalibrierten Gerät, mit den Rohstreams, damit sich die Labels neu erzeugen lassen, und unter einer Lizenz, die kommerzielle Nutzung erlaubt. Es ist der größte egozentrische Datensatz in diesem Katalog, neben Eidon Tracker POV, das Hausarbeit aufzeichnet, und HiFi-UMI-2K, das robotorfreie beidhändige Arbeit mit einem Kopf-und-Hand-Rig aufzeichnet; RoboCap-10k zeichnet Facharbeit auf. Es ist Material für das Vortraining von VLA- und Weltmodellen, für Imitation Learning und für Motion Retargeting von menschlichen Händen auf Roboterhände, und es kommt im LeRobot-Format, mit Rerun-Aufzeichnungen zur Ansicht. Werkzeuge wie MINT schätzen Handbewegung aus gewöhnlichem Video; diese Veröffentlichung liefert sie bereits gemessen, aus kalibriertem Stereo.
Welches Problem es löst
Egozentrisches Video ist die am besten skalierbare Quelle für Manipulationsdaten, doch die meisten großen Korpora haben keine metrischen 3D-Labels, mischen viele verschiedene Geräte oder wurden in Laboren mit wenigen Teilnehmenden bei inszenierten Aufgaben aufgenommen. RoboCap-10k bietet 10.000 Stunden nicht inszenierter Berufsarbeit von einem kalibrierten Gerätemodell, mit metrischer Kopfpose, 3D-Handpose und Beschreibungen auf zwei Ebenen für jede Episode, in einem Format, das Werkzeuge für Robot Learning schon lesen, und unter einer Lizenz, die kommerzielle Nutzung erlaubt.
Wichtigste Punkte
- 10.000 kuratierte Stunden in 1.363.915 Episoden echter bezahlter Arbeit, aus 21 Branchen, 365 Arten von Arbeitsstätten und 619 Aufgaben in 11 Ländern
- Alles mit einem Gerätemodell aufgenommen, der Kappe RoboCap: sechs synchronisierte Global-Shutter-Kameras und zwei IMUs
- An der Schwerkraft ausgerichtete metrische 6-DoF-Kopfpose und MANO-Handpose mit 21 Keypoints pro Hand in jedem Frame
- Knappe Aufgabenbeschreibungen und zeitlich markierte, detaillierte Beschreibungen der Teilaufgaben, wobei 10% der Stunden von Menschen geprüft wurden
- LeRobot-Format für das Training und Rerun-Aufzeichnungen zur Ansicht, mit Rohstreams und Kalibrierung pro Sitzung
- CC BY 4.0, offen für kommerzielle Nutzung; Zugang auf Anfrage, und das Video umfasst etwa 108 TB
Für wen
- Forschende, die VLA-Modelle, Weltmodelle und Foundation Models für Roboter mit menschlichen Demonstrationsdaten vortrainieren
- Teams, die menschliche Handbewegung für geschickte Manipulation auf Roboterhände übertragen
- Forschende in Computer Vision, die an egozentrischem Video, SLAM, Handpose und Handlungssegmentierung arbeiten
- LeRobot-Nutzer, die menschliche Daten in großem Umfang in einem Format suchen, das ihre Werkzeuge schon lesen
Einschränkungen
- Menschliche Demonstrationen, keine Roboteraktionen: Um damit einen Roboter zu trainieren, braucht es Retargeting, und menschliche Arme unterscheiden sich von Roboterarmen
- Alle 3D-Labels sind Modellausgaben, keine Ground Truth, und Handfehler häufen sich dort, wo Finger bei festen Griffen verdeckt sind
- Die Genauigkeitsangaben stammen von Grounded SI selbst, gemessen auf eigenen Benchmarks und veröffentlicht im eigenen technischen Bericht
- Die detaillierten Beschreibungen erzeugt Gemini 3.8 Flash; Menschen prüften nur 10% der Stunden
- Die Aufnahmen konzentrieren sich auf wenige Länder, Indien stellt die meisten Branchen, und Hausarbeit sowie einhändige Arbeit sind unterrepräsentiert
- Keine Tast- oder Kraftsensorik: Kontakt muss allein aus dem Bild erschlossen werden
- Zugangsbeschränkt: Der Zugang braucht eine genehmigte Anfrage, und das gesamte Video umfasst etwa 108 TB, daher werden die meisten Nutzer einen Teil streamen oder laden
- Gesichter macht ein Detektor mit 77,3% Recall auf Einzelbildern unkenntlich, unterstützt durch Tracking über Frames; die Karte behauptet nicht, dass jedes Gesicht erfasst wird
- CC BY 4.0 verlangt Namensnennung und lizenziert nicht die Persönlichkeits- und Bildrechte der Beschäftigten und Umstehenden im Video