Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

RoboCap-10k

10.000 ore di lavoro retribuito in prima persona con posa 3D metrica di testa e mani

Licenza

CC BY 4.0

Dati: CC BY 4.0, secondo la sezione licenza della scheda del dataset, il suo tag di licenza su Hugging Face e il rapporto tecnico; la scheda dice che si possono usare per qualsiasi scopo, anche commerciale, citando il paper come attribuzione. Accesso: riservato; Grounded SI approva ogni richiesta, e il modulo chiede di impegnarsi a non tentare di reidentificare nessuno nel dataset. Persone nel video: la scheda dice che i lavoratori hanno firmato consensi informati e che i volti sono sfocati, ma CC BY 4.0 non concede in licenza i diritti di privacy o di immagine, e il rapporto affida il rispetto delle leggi locali sul lavoro e sulla privacy al partner di ciascun paese. Dataset collegati: RoboCap-LiDAR-100 di BitRobot è CC BY-NC 4.0, solo uso non commerciale, mentre RoboCap-IKEA-500 e RoboCap-Origami-500 sono CC BY 4.0. Immagine della scheda: un frame dall'anteprima di un episodio del dataset realizzata da Grounded SI; attribuzione a Grounded Superintelligence. Verificato il 2026-11-12 sulla scheda del dataset, sul rapporto tecnico e sulle schede dei dataset di BitRobot.

Panoramica

RoboCap-10k è un dataset egocentrico di Grounded Superintelligence: 10.000 ore selezionate di persone al loro lavoro retribuito, riprese da un cappellino con telecamere ed etichettate con il movimento 3D metrico di testa e mani. Contiene 1.363.915 episodi in 21 settori, 365 tipi di sito e 619 compiti, registrati in 11 paesi, dalla produzione del pane e la cucitura di capi alla riparazione di motori, la saldatura di circuiti stampati e la legatura dei tondini d'armatura. Ogni ora è stata registrata con lo stesso dispositivo, il RoboCap, un cappellino da 250 g con sei telecamere global shutter sincronizzate e due IMU, ed elaborata dalla stessa pipeline 3D. Ogni frame porta una posa della testa 6-DoF allineata alla gravità e i parametri di mano MANO con 21 keypoint per mano nel sistema di riferimento del mondo, e ogni episodio ha una breve didascalia del compito e didascalie temporizzate dei sottocompiti. I dati sono in formato LeRobot e come registrazioni Rerun, insieme ai flussi grezzi delle telecamere, con licenza CC BY 4.0. È stato pubblicato su Hugging Face il 7 novembre 2026, e l'accesso è concesso su richiesta.

RoboCap-10k è un dataset in prima persona di lavoro professionale reale per addestrare policy robotiche e modelli del mondo, pubblicato da Grounded Superintelligence su Hugging Face con licenza CC BY 4.0. I lavoratori hanno indossato un cappellino con telecamere durante i loro normali turni retribuiti da 6 a 12 ore, e nulla è stato preparato o messo in scena per la telecamera. La versione selezionata contiene 10.000 ore in 1.363.915 episodi da 10 a 600 secondi, con una mediana di 17,8 secondi. Copre 21 settori, 365 tipi di sito e 619 compiti, registrati in 11 paesi: India, Nigeria, Colombia, Stati Uniti, Regno Unito, Messico, Cile, Malesia, Filippine, Indonesia e Spagna. I compiti sono classificati per difficoltà, con 170 facili, 277 medi e 172 difficili, questi ultimi lavoro specializzato come saldare componenti su circuiti stampati, legare gabbie d'armatura o la cucitura industriale.

Tutto è stato registrato con un solo modello di dispositivo, il RoboCap: un cappellino da 250 g con sei telecamere global shutter a 1080p e 30 Hz, comandate da un unico trigger hardware, e due IMU a 200 Hz. Due coppie stereo fisheye tengono le mani in una vista stereo metrica in tutto lo spazio di presa, e due telecamere laterali grandangolari colgono i movimenti che ne escono. Grounded SI ricalibra le telecamere di ogni sessione di registrazione a partire dalle immagini stesse e riferisce che ogni dispositivo pubblicato resta sotto 1 px di errore epipolare medio. Le traiettorie della testa vengono da SLAM visivo-inerziale multicamera con bundle adjustment offline, e le mani da un tracker multivista che adatta un unico modello di mano MANO su tutte le telecamere. Rispetto al motion capture, Grounded SI riporta un errore mediano della traiettoria della testa di 3,0 mm e un errore della mano di 4,5 mm PA-MPJPE; sono misure sue, descritte nel rapporto tecnico.

Il linguaggio è su due livelli: una didascalia sintetica per ogni intervallo e, al suo interno, didascalie dettagliate e consecutive dei sottocompiti. Le didascalie dettagliate sono generate da Gemini 3.8 Flash dalle due telecamere frontali, e delle persone hanno verificato le didascalie di 1.000 ore, il 10% del corpus, rispetto al video.

Ogni episodio è disponibile in due forme. Il formato LeRobot serve all'addestramento, con un MP4 H.265 per telecamera e tabelle Parquet di posa della testa, posa delle mani e letture IMU indicizzate per frame. Una registrazione Rerun mostra i sei flussi, la traiettoria della testa e le mesh delle mani in un unico sistema di riferimento 3D del mondo. Ogni episodio include anche la sua calibrazione e un file JSON con etichette di tassonomia, didascalie e statistiche di qualità, e i flussi grezzi sono pubblicati perché le etichette si possano verificare e rigenerare. Il video totalizza circa 108 TB, conservati in un bucket di storage di Hugging Face da cui LeRobot può leggere in streaming. L'accesso richiede una domanda sulla pagina del dataset, che Grounded SI dichiara di esaminare entro 2 o 3 giorni lavorativi. Senza account, il sito di anteprima del dataset permette a chiunque di sfogliare 1.794 episodi con didascalia, paese e zona di lavoro, e di riprodurli in un visualizzatore Rerun.

Sulla privacy, la scheda dice che ogni lavoratore ha firmato un modulo di consenso informato, ogni azienda partner ha firmato un accordo sui dati e chi indossa il cappellino è pagato in aggiunta al proprio salario. Non è stato registrato audio, i volti sono sfocati in modo permanente dal rilevatore proprio di Grounded SI, e i metadati indicano solo il paese e il tipo di sito. L'annuncio indica BitRobot come coautore, e BitRobot ha pubblicato proprie registrazioni RoboCap più piccole, come RoboCap-IKEA-500 e RoboCap-Origami-500.

Perché è importante

I robot imparano le abilità manuali dalle dimostrazioni, e la teleoperazione ne fornisce poche e a costo elevato. I video di persone al lavoro abbondano, ma un robot imita pose, non pixel: le riprese diventano dati di addestramento solo quando testa e mani sono localizzate in metri in ogni frame. RoboCap-10k fornisce questo per 10.000 ore di lavoro reale da un unico dispositivo calibrato, conservando i flussi grezzi per poter rifare le etichette, con una licenza che consente l'uso commerciale. È il dataset egocentrico più grande di questo catalogo, accanto a Eidon Tracker POV, che registra lavori domestici, e a HiFi-UMI-2K, che registra lavoro bimanuale senza robot con un dispositivo per testa e mani; RoboCap-10k registra mestieri specializzati. È materiale per il preaddestramento di modelli VLA e di modelli del mondo, per l'apprendimento per imitazione e per il retargeting del movimento dalle mani umane alle mani robotiche, e arriva nel formato LeRobot, con registrazioni Rerun per l'ispezione. Strumenti come MINT stimano il movimento delle mani da video ordinari; questa pubblicazione lo fornisce già misurato con stereo calibrato.

Il problema che risolve

Il video egocentrico è la fonte più scalabile di dati di manipolazione, ma la maggior parte dei grandi corpus non ha etichette 3D metriche, mescola molti dispositivi diversi o è stata registrata in laboratorio con pochi partecipanti impegnati in compiti messi in scena. RoboCap-10k offre 10.000 ore di lavoro professionale non preparato da un unico modello di dispositivo calibrato, con posa metrica della testa, posa 3D delle mani e didascalie su due livelli in ogni episodio, in un formato che gli strumenti di robot learning già leggono e con una licenza che consente l'uso commerciale.

Punti chiave

  • 10.000 ore selezionate in 1.363.915 episodi di vero lavoro retribuito, in 21 settori, 365 tipi di sito e 619 compiti in 11 paesi
  • Tutto registrato con un solo modello di dispositivo, il cappellino RoboCap: sei telecamere global shutter sincronizzate e due IMU
  • Posa della testa 6-DoF metrica allineata alla gravità e posa delle mani MANO con 21 keypoint per mano in ogni frame
  • Didascalie sintetiche del compito e didascalie dettagliate e temporizzate dei sottocompiti, con il 10% delle ore verificato da persone
  • Formato LeRobot per l'addestramento e registrazioni Rerun per l'ispezione, con flussi grezzi e calibrazione per sessione
  • CC BY 4.0, aperto all'uso commerciale; accesso concesso su richiesta, e il video totalizza circa 108 TB

A chi si rivolge

  • Ricercatori che preaddestrano modelli VLA, modelli del mondo e foundation model per robot su dati di dimostrazioni umane
  • Team che trasferiscono il movimento delle mani umane a mani robotiche per la manipolazione fine
  • Ricercatori di visione artificiale che lavorano su video egocentrico, SLAM, posa delle mani e segmentazione delle azioni
  • Utenti di LeRobot che cercano dati umani su larga scala in un formato che i loro strumenti già leggono

Limiti

  • Dimostrazioni umane, non azioni di robot: addestrare un robot su di esse richiede retargeting, e le braccia umane differiscono da quelle robotiche
  • Tutte le etichette 3D sono output di modelli, non ground truth, e gli errori sulle mani si concentrano dove le dita sono nascoste nelle prese strette
  • I dati di accuratezza sono di Grounded SI stessa, misurati sui suoi benchmark e pubblicati nel suo rapporto tecnico
  • Le didascalie dettagliate sono generate da Gemini 3.8 Flash; delle persone hanno verificato solo il 10% delle ore
  • La raccolta è concentrata in pochi paesi, l'India copre la maggior parte dei settori, e il lavoro domestico e quello a una mano sono sottorappresentati
  • Nessun sensore tattile o di forza: il contatto va dedotto dalla sola visione
  • Accesso riservato: serve una richiesta approvata, e il video completo è di circa 108 TB, quindi la maggior parte degli utenti ne leggerà in streaming o scaricherà una parte
  • I volti sono sfocati da un rilevatore con il 77,3% di recall sui singoli frame, aiutato dal tracciamento tra frame; la scheda non afferma che ogni volto venga individuato
  • CC BY 4.0 richiede l'attribuzione e non concede in licenza i diritti di privacy e di immagine dei lavoratori e dei passanti nel video

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.