RoboCap-10k
10.000 horas de trabajo pagado en primera persona con pose 3D métrica de cabeza y manos
Licencia
CC BY 4.0
Datos: CC BY 4.0, según la sección de licencia de la ficha del dataset, su etiqueta de licencia en Hugging Face y el informe técnico; la ficha dice que pueden usarse para cualquier fin, incluido el comercial, dando crédito con la cita del paper. Acceso: restringido; Grounded SI aprueba cada solicitud, y el formulario pide comprometerse a no intentar reidentificar a nadie del dataset. Personas en el vídeo: la ficha dice que los trabajadores firmaron consentimientos informados y que los rostros están difuminados, pero CC BY 4.0 no licencia derechos de privacidad ni de imagen, y el informe deja el cumplimiento de la ley laboral y de privacidad local al socio de cada país. Datasets relacionados: RoboCap-LiDAR-100 de BitRobot es CC BY-NC 4.0, solo uso no comercial, mientras que RoboCap-IKEA-500 y RoboCap-Origami-500 son CC BY 4.0. Imagen de la tarjeta: un fotograma de la vista previa de un episodio del dataset hecha por Grounded SI; crédito a Grounded Superintelligence. Comprobado el 2026-11-12 con la ficha del dataset, el informe técnico y las fichas de los datasets de BitRobot.
Resumen
RoboCap-10k es un dataset egocéntrico de Grounded Superintelligence: 10.000 horas seleccionadas de personas haciendo su trabajo remunerado, filmadas con una gorra con cámaras y etiquetadas con el movimiento 3D métrico de la cabeza y las manos. Contiene 1.363.915 episodios de 21 sectores, 365 tipos de lugar de trabajo y 619 tareas, grabados en 11 países, desde la producción de pan y la costura de prendas hasta la reparación de motores, la soldadura de placas de circuito y el atado de varillas de refuerzo. Cada hora se grabó con el mismo dispositivo, la RoboCap, una gorra de 250 g con seis cámaras global shutter sincronizadas y dos IMU, y se procesó con el mismo pipeline 3D. Cada fotograma lleva una pose de cabeza 6-DoF alineada con la gravedad y parámetros de mano MANO con 21 keypoints por mano en el sistema de referencia del mundo, y cada episodio tiene una descripción breve de la tarea y descripciones temporizadas de las subtareas. Los datos vienen en formato LeRobot y como grabaciones de Rerun, junto con los flujos en bruto de las cámaras, bajo CC BY 4.0. Se publicó en Hugging Face el 7 de noviembre de 2026, y el acceso se concede previa solicitud.
RoboCap-10k es un dataset en primera persona de trabajo profesional real para entrenar políticas de robots y modelos del mundo, publicado por Grounded Superintelligence en Hugging Face bajo CC BY 4.0. Los trabajadores llevaron una gorra con cámaras durante sus turnos remunerados normales de 6 a 12 horas, y nada se guionizó ni se escenificó para la cámara. La versión seleccionada contiene 10.000 horas en 1.363.915 episodios de 10 a 600 segundos, con una mediana de 17,8 segundos. Abarca 21 sectores, 365 tipos de lugar de trabajo y 619 tareas, grabados en 11 países: India, Nigeria, Colombia, Estados Unidos, Reino Unido, México, Chile, Malasia, Filipinas, Indonesia y España. Las tareas se clasifican por dificultad, con 170 fáciles, 277 medias y 172 difíciles, siendo las difíciles trabajo especializado como soldar componentes en placas de circuito, atar armaduras de varilla o la costura industrial.
Todo se grabó con un solo modelo de dispositivo, la RoboCap: una gorra de 250 g con seis cámaras global shutter a 1080p y 30 Hz, disparadas por un único trigger de hardware, y dos IMU a 200 Hz. Dos pares estéreo ojo de pez mantienen las manos en una vista estéreo métrica en todo el alcance, y dos cámaras laterales gran angular captan los movimientos que salen de ella. Grounded SI recalibra las cámaras de cada sesión de grabación a partir de las propias imágenes e informa que cada dispositivo publicado queda por debajo de 1 px de error epipolar medio. Las trayectorias de la cabeza salen de SLAM visual-inercial multicámara con ajuste de haces offline, y las manos de un tracker multivista que ajusta un único modelo de mano MANO en todas las cámaras. Frente a captura de movimiento, Grounded SI informa un error mediano de la trayectoria de la cabeza de 3,0 mm y un error de mano de 4,5 mm PA-MPJPE; son mediciones propias, descritas en el informe técnico.
El lenguaje viene en dos niveles: una descripción breve por intervalo y, dentro de ella, descripciones detalladas y consecutivas de las subtareas. Las descripciones detalladas las genera Gemini 3.8 Flash a partir de las dos cámaras frontales, y personas revisaron las descripciones de 1.000 horas, el 10% del corpus, contra el vídeo.
Cada episodio viene en dos formas. El formato LeRobot sirve para entrenar, con un MP4 H.265 por cámara y tablas Parquet de pose de cabeza, pose de manos y lecturas de IMU indexadas por fotograma. Una grabación de Rerun muestra los seis flujos, la trayectoria de la cabeza y las mallas de las manos en un único sistema de referencia 3D del mundo. Cada episodio incluye también su calibración y un archivo JSON con etiquetas de taxonomía, descripciones y estadísticas de calidad, y se publican los flujos en bruto para que las etiquetas puedan comprobarse y regenerarse. El vídeo suma unos 108 TB, alojados en un bucket de almacenamiento de Hugging Face desde el que LeRobot puede hacer streaming. El acceso requiere una solicitud en la página del dataset, que Grounded SI dice revisar en 2 a 3 días hábiles. Sin cuenta, el sitio de vista previa del dataset permite a cualquiera explorar 1.794 episodios con descripción, país y zona de trabajo, y reproducirlos en un visor de Rerun.
Sobre privacidad, la ficha dice que todos los trabajadores firmaron un consentimiento informado, todas las empresas socias firmaron un acuerdo de datos y quienes llevan la gorra cobran un pago aparte de su salario. No se grabó audio, los rostros se difuminan de forma permanente con el detector propio de Grounded SI, y los metadatos solo indican el país y el tipo de lugar de trabajo. El anuncio cita a BitRobot como coautor, y BitRobot ha publicado grabaciones RoboCap propias más pequeñas, como RoboCap-IKEA-500 y RoboCap-Origami-500.
Por qué importa
Los robots aprenden habilidades manuales a partir de demostraciones, y la teleoperación aporta pocas y a un coste alto. Hay mucho vídeo de personas trabajando, pero un robot imita poses, no píxeles: las imágenes solo se convierten en datos de entrenamiento cuando la cabeza y las manos están localizadas en metros en cada fotograma. RoboCap-10k aporta eso para 10.000 horas de trabajo real con un único dispositivo calibrado, conservando los flujos en bruto para poder rehacer las etiquetas, bajo una licencia que permite el uso comercial. Es el mayor dataset egocéntrico de este catálogo, junto a Eidon Tracker POV, que registra tareas domésticas, y HiFi-UMI-2K, que registra trabajo bimanual sin robot con un equipo de cabeza y manos; RoboCap-10k registra oficios especializados. Es material para preentrenar modelos VLA y modelos del mundo, para el aprendizaje por imitación y para el retargeting de movimiento de manos humanas a manos robóticas, y llega en formato LeRobot, con grabaciones de Rerun para inspeccionarlo. Herramientas como MINT estiman el movimiento de las manos a partir de vídeo normal; esta publicación lo trae ya medido con estéreo calibrado.
Qué problema resuelve
El vídeo egocéntrico es la fuente más escalable de datos de manipulación, pero la mayoría de los grandes corpus no tienen etiquetas 3D métricas, mezclan muchos dispositivos distintos o se grabaron en laboratorios con pocos participantes haciendo tareas escenificadas. RoboCap-10k ofrece 10.000 horas de trabajo profesional sin guion de un único modelo de dispositivo calibrado, con pose métrica de la cabeza, pose 3D de las manos y descripciones en dos niveles en cada episodio, en un formato que las herramientas de aprendizaje robótico ya leen y bajo una licencia que permite el uso comercial.
Puntos clave
- 10.000 horas seleccionadas en 1.363.915 episodios de trabajo remunerado real, de 21 sectores, 365 tipos de lugar de trabajo y 619 tareas en 11 países
- Todo grabado con un solo modelo de dispositivo, la gorra RoboCap: seis cámaras global shutter sincronizadas y dos IMU
- Pose de cabeza 6-DoF métrica alineada con la gravedad y pose de manos MANO con 21 keypoints por mano en cada fotograma
- Descripciones breves de la tarea y descripciones detalladas y temporizadas de las subtareas, con el 10% de las horas revisado por personas
- Formato LeRobot para entrenar y grabaciones de Rerun para inspeccionar, con flujos en bruto y calibración por sesión
- CC BY 4.0, abierto al uso comercial; el acceso se concede previa solicitud, y el vídeo suma unos 108 TB
Para quién es
- Investigadores que preentrenan modelos VLA, modelos del mundo y modelos fundacionales para robots con datos de demostraciones humanas
- Equipos que trasladan el movimiento de manos humanas a manos robóticas para manipulación diestra
- Investigadores de visión por computador que trabajan en vídeo egocéntrico, SLAM, pose de manos y segmentación de acciones
- Usuarios de LeRobot que buscan datos humanos a gran escala en un formato que sus herramientas ya leen
Limitaciones
- Demostraciones humanas, no acciones de robot: entrenar un robot con ellas requiere retargeting, y los brazos humanos difieren de los brazos robóticos
- Todas las etiquetas 3D son salidas de modelos, no ground truth, y los errores de mano se concentran donde los dedos quedan ocultos en agarres firmes
- Las cifras de precisión son de la propia Grounded SI, medidas en sus propios benchmarks y publicadas en su informe técnico
- Las descripciones detalladas las genera Gemini 3.8 Flash; personas revisaron solo el 10% de las horas
- La recogida se concentra en pocos países, India aporta la mayoría de los sectores, y el trabajo doméstico y el hecho con una sola mano están infrarrepresentados
- Sin sensores táctiles ni de fuerza: el contacto debe deducirse solo de la visión
- Acceso restringido: requiere una solicitud aprobada, y el vídeo completo ocupa unos 108 TB, así que la mayoría hará streaming o descargará una parte
- Los rostros los difumina un detector con un 77,3% de recall en fotogramas sueltos, ayudado por seguimiento entre fotogramas; la ficha no afirma que se detecte cada rostro
- CC BY 4.0 exige atribución y no licencia los derechos de privacidad ni de imagen de los trabajadores y transeúntes del vídeo