Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Gen-HumanEgo

Dimostrazioni umane in prima persona con tracciamento 3D delle mani, profondità ed etichette dei compiti

Licenza

CC-BY-SA-4.0

Panoramica

Gen-HumanEgo è un dataset aperto di dimostrazioni umane in prima persona per l'apprendimento dei robot, pubblicato da GenRobot.AI come dataset Hugging Face con licenza CC-BY-SA-4.0. Contiene 1.847,7 ore in 44.632 episodi che coprono 10.257 compiti unici in ambito domestico, commerciale, industriale e agricolo, registrati da persone che indossavano la fascia a sei telecamere DAS-Ego di GenRobot mentre svolgevano il lavoro a modo loro.

Ogni episodio è una registrazione MCAP che combina il video sincronizzato di tutte e sei le telecamere (1600 × 1300 a 30 FPS) con tre tipi di etichette derivate: ricostruzione 3D delle mani (21 punti chiave per mano, parametri MANO e una mesh completa della mano), una mappa di profondità ad ampio campo visivo e annotazioni gerarchiche che descrivono l'intero episodio, ogni compito e ogni sottocompito con limiti temporali e un flag is_success. Le etichette sono prodotte dal Data Foundation Model proprietario di GenRobot a partire dal video multicamera; questo modello non è rilasciato.

I dati hanno una licenza aperta ma l'accesso è controllato: servono un account Hugging Face e la compilazione di un breve modulo sull'uso previsto, dopo il quale l'accesso viene concesso automaticamente. GenRobot pubblica anche il DAS DataKit (MIT) per leggere, validare, visualizzare e convertire i file. Si tratta di una release diversa da RealOmni-Open di GenRobot.

Il dataset è organizzato come un albero di directory che segue la gerarchia di scenari e abilità, per esempio industry/logistics/sorting_and_packing/daily_work, e termina in una cartella con un prefisso di due caratteri e il file MCAP dell'episodio. Il repository include anche egov4_urdf.zip, un URDF dei link e dei frame dei sensori della fascia DAS-Ego, così che le pose delle telecamere possano essere collocate in un sistema di coordinate comune.

All'interno di un episodio, i flussi RGB multivista si trovano sotto /robot0/sensor/camera…/compressed, le ricostruzioni della mano sinistra e destra sotto /robot0/handtracking/, la profondità sotto /robot0/sensor/camera2/depth e le annotazioni sotto /robot0/annotation_v2/. Tutti i segnali condividono un unico sistema di coordinate spazio-temporale. Le annotazioni operano su tre livelli: una descrizione dell'intero video, i compiti con il loro obiettivo, la scena e l'intervallo temporale, e sottocompiti dettagliati con oggetti, attributi, relazioni spaziali e l'esito di ogni tentativo, in modo che le azioni fallite e ripetute restino nella registrazione.

GenRobot riporta, in base alla propria valutazione, un errore di tracciamento della mano inferiore al centimetro rispetto a un riferimento di motion capture, e una profondità che copre 157° × 132° con una precisione di ±4% a 1 m e un tasso di riempimento di almeno il 99,5%. Questi dati provengono dal blog tecnico di GenRobot del 23 settembre 2026 e non sono stati riprodotti in modo indipendente. L'introduzione ai dati DAS-Ego documenta topic, schemi dei messaggi, sistemi di coordinate e timestamp, e un visualizzatore nel browser riproduce gli episodi senza scrivere codice.

Perché è importante

L'apprendimento dei robot è a corto di dati che mostrino come mani umane esperte svolgono davvero il lavoro quotidiano. I video di persone abbondano ma non sono strutturati; i dati di teleoperazione dei robot sono strutturati ma lenti e costosi da raccogliere. Gen-HumanEgo si colloca tra i due: lavoro umano ordinario, registrato dal punto di vista di chi lo svolge, con movimento 3D delle mani, profondità della scena e struttura dei compiti già associati. È il materiale che i ricercatori usano per pre-addestrare modelli Vision-Language-Action (VLA) e per studiare il retargeting del movimento dalle mani umane alle mani robotiche, ed è rilasciato con una licenza che consente l'uso commerciale. Si affianca ad altre release egocentriche aperte del catalogo, come Eidon Tracker POV, e a strumenti come MINT di WUJI, che trasformano semplici video egocentrici in movimento delle mani.

Il problema che risolve

Addestrare un robot a manipolare come una persona richiede esempi di dove si trovano le mani in 3D, di come appare la scena intorno a esse e di cosa la persona sta cercando di fare, il tutto allineato nel tempo. Raccogliere ed etichettare tutto questo da zero richiede hardware di acquisizione, pipeline di tracciamento delle mani e di profondità e un lavoro di annotazione che la maggior parte dei laboratori non può sostenere. Gen-HumanEgo lo fornisce pronto da caricare: video multivista con mesh delle mani, profondità e segmentazione dei compiti allineate, in un formato documentato con strumenti aperti per leggerlo.

Punti chiave

  • 1.847,7 ore di dimostrazioni umane in prima persona in 44.632 episodi, che coprono 10.257 compiti unici in case, attività commerciali, industria e agricoltura
  • Sei telecamere sincronizzate per episodio, con ricostruzione 3D delle mani (21 punti chiave, parametri MANO, mesh della mano), profondità ad ampio FOV e annotazioni gerarchiche dei compiti
  • Le annotazioni registrano l'intervallo temporale di ogni sottocompito e il suo esito, conservando i tentativi falliti e ripetuti
  • CC-BY-SA-4.0, su Hugging Face dietro un modulo di accesso automatico; circa 62 TB di file MCAP
  • DAS DataKit aperto con licenza MIT, un visualizzatore nel browser e documentazione completa di topic e schemi; il modello di etichettatura è invece proprietario

A chi si rivolge

  • Ricercatori che pre-addestrano modelli VLA e di manipolazione su dati di dimostrazioni umane
  • Team che studiano il retargeting dal movimento delle mani umane alle mani robotiche e la manipolazione fine
  • Ricercatori di visione artificiale che lavorano su tracciamento egocentrico delle mani, profondità e segmentazione delle attività

Limiti

  • Accesso controllato: il download richiede un login Hugging Face e un modulo di accesso, anche se la licenza è aperta
  • Molto grande, circa 62 TB in totale, quindi la maggior parte degli utenti scaricherà domini o compiti selezionati
  • Le etichette di mani, profondità e annotazioni provengono dal Data Foundation Model proprietario di GenRobot; i dati di precisione sono di GenRobot stessa e il modello non è rilasciato
  • Dimostrazioni umane, non azioni di robot: per usarle nell'addestramento di un robot serve il retargeting sul corpo del robot
  • Registrato con la fascia DAS-Ego di GenRobot, quindi la disposizione delle telecamere e la geometria fisheye sono specifiche di quel dispositivo
  • CC-BY-SA-4.0 è share-alike: i dataset derivati devono essere rilasciati con la stessa licenza

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.