Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Eidon Tracker POV

1.274 ore di video domestico egocentrico con tracciamento IMU del braccio in sette punti

Licenza

CC-BY-4.0

Panoramica

Ventisette volontari hanno indossato una telecamera montata sulla testa e un'imbracatura con sette unità di misura inerziali (IMU) mentre svolgevano vere faccende domestiche nelle proprie case: piegare il bucato, pulire, lavare i piatti, cucinare, lavorare a maglia. Il risultato sono 13.451 registrazioni per un totale di 1.273,8 ore, ciascuna delle quali abbina un video in prima persona all'orientamento a 24 Hz di entrambe le mani, entrambi gli avambracci, entrambe le braccia e il petto. Il sensore sul petto è il sistema di coordinate di riferimento: componendo la sua inversa con un arto si ottiene la posa del braccio relativa al busto, indipendente dalla direzione verso cui è rivolto chi lo indossa. Video e IMU si trovano in due repository uniti tramite recording_id, con un terzo bucket che contiene altre 306 ore di riprese solo video. Tutto è CC-BY-4.0.

I grandi dataset per l'apprendimento robotico come AgiBot World, DROID, Open X-Embodiment e ABC-130k registrano robot. Questo registra persone che compiono manipolazioni comuni, dal loro punto di vista, con la configurazione del braccio misurata anziché dedotta. Stimare la posa della mano da video egocentrici è un problema difficile e rumoroso; qui le pose del braccio arrivano con un ground truth fornito da sensori indossati sul corpo.

La scheda del dataset documenta in dettaglio i propri punti deboli. La distribuzione dei compiti è fortemente sbilanciata: piegare il bucato rappresenta il 67,5% di tutte le ore e le classi di coda hanno meno di tre ore ciascuna, quindi la scheda sconsiglia di trattarlo come un dataset bilanciato di attività in nove classi. I contributori sono pochi e con pesi diseguali, il maggiore fornisce il 16,1% delle ore e i primi cinque il 57,2%, quindi la scheda consiglia di suddividere i dati per contributor_id: una suddivisione casuale fa trapelare la stessa persona, la stessa casa e la stessa configurazione di telecamere tra addestramento e test e gonfia i risultati. I dati demografici sono dichiarati e descritti come non rappresentativi: tra chi li ha indicati, l'età mediana è 26 anni e 15 su 17 sono uomini. Le letture grezze di accelerometro, giroscopio e magnetometro coprono solo 2.841 registrazioni, e la scheda indica il campo esatto su cui filtrare. Il controllo qualità ha eseguito su ogni registrazione il rilevamento delle mani con MediaPipe, verifiche di luminosità HSV, di sfocatura con il laplaciano e di stabilità del flusso ottico; le 472 registrazioni scartate sono incluse e contrassegnate, come esempi negativi.

L'azienda che lo ha prodotto, Eidon AI (che opera come Solidic Labs Inc), ha chiuso l'attività. Ha rilasciato i dati con licenza CC-BY-4.0 affinché sopravvivessero all'azienda, il che fa di questa una release finale e non una prima release con altre promesse.

Perché è importante

La maggior parte dei grandi dataset per l'apprendimento robotico registra robot teleoperati. Le policy che imparano da video umani hanno bisogno di video umani, e la parte difficile è sempre stata sapere che cosa stessero facendo davvero le braccia: la stima della posa da una telecamera in prima persona è inaffidabile al polso e peggio ancora alla spalla. Registrare 1.274 ore di vere faccende domestiche con sette unità di misura inerziali (IMU) sul corpo risponde direttamente a questo problema, e i dati sono rilasciati con una licenza permissiva.

Il problema che risolve

Apprendere la manipolazione da video umani richiede di sapere che cosa stessero facendo le braccia, e ricavarlo da una telecamera in prima persona è inaffidabile. Questo dataset lo registra direttamente: orientamento a 24 Hz da sette sensori indossati accanto al video, su oltre mille ore di lavoro domestico non allestito, utilizzabile liberamente anche a fini commerciali.

Punti chiave

  • 13.451 registrazioni, 1.273,8 ore, 27 contributori, 9,05 TB di MP4 da 1080p a 4K
  • Sette unità di misura inerziali (IMU) a 9 assi a 24 Hz: entrambe le mani, entrambi gli avambracci, entrambe le braccia e il petto, con il petto come sistema di coordinate di riferimento relativo al busto
  • Video e IMU sono repository separati uniti tramite recording_id; un terzo bucket di archiviazione aggiunge 306 ore di riprese solo video da 37 contributori
  • Vere faccende in vere case anziché dimostrazioni allestite: bucato, pulizie, piatti, cucina, disegno, lavoro a maglia, rifacimento del letto, annaffiatura delle piante
  • Ogni registrazione ha metriche di controllo qualità e uno stato valid/flagged/invalid; le 472 non valide sono incluse di proposito come esempi negativi
  • La scheda del dataset nomina le trappole: compiti sbilanciati, trapelamento dei contributori con una suddivisione casuale, dati demografici scarsi e quale campo dei metadati indica davvero la presenza di dati di movimento grezzi
  • CC-BY-4.0, uso commerciale consentito con attribuzione, pubblicato come release finale dopo la chiusura dell'azienda che lo ha prodotto

A chi si rivolge

  • Chiunque addestri policy di manipolazione o modelli del mondo su video di dimostrazioni umane
  • Ricercatori che lavorano sulla stima egocentrica della posa di mani e braccia e hanno bisogno di un ground truth con cui valutare
  • Team che sviluppano il riconoscimento delle attività della vita quotidiana, nella robotica assistiva o altrove
  • Chi studia la fusione dei sensori tra visione e unità di misura inerziali (IMU) indossate
  • Chiunque voglia dati di manipolazione domestica su larga scala senza raccoglierli da sé

Limiti

  • Piegare il bucato rappresenta il 67,5% di tutte le ore; le attività di coda hanno meno di tre ore ciascuna e non possono sostenere da sole una classe
  • Ventisette contributori, con i primi cinque che forniscono il 57,2% delle ore: suddividere in base a contributor_id, altrimenti la valutazione farà trapelare la stessa persona, la stessa casa e la stessa attrezzatura in entrambe le parti
  • I dati demografici sono scarsi e sbilanciati: tra chi li ha indicati, età mediana 26 anni e 15 su 17 uomini
  • I dati grezzi di accelerometro, giroscopio e magnetometro coprono solo 2.841 delle 13.451 registrazioni; i quaternioni di orientamento sono presenti ovunque, ma i flussi grezzi sono facoltativi
  • Il video non è elaborato: nessuna sfocatura dei volti né oscuramento, registrato all'interno di case private, e la scheda dice esplicitamente che non si può escludere la ripresa accidentale di volti, documenti o schermi
  • 9,05 TB per il solo video, quindi non è un dataset da scaricare alla leggera
  • Nessuna sincronizzazione hardware tra telecamera e IMU; l'allineamento avviene tramite timestamp, con uno scarto che gli autori descrivono come pochi millisecondi di esecuzione sequenziale del codice
  • L'organizzazione che lo ha prodotto ha chiuso, quindi non ci saranno correzioni, né una v2, né nessuno che risponda alle domande oltre all'indirizzo per le richieste di rimozione indicato nella scheda

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.