Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

LeRobot rifà lo streaming dei dataset per addestrare su dataset robotici da oltre 100 TB senza scaricarli

  • Fonte: Hugging Face (LeRobot team)
  • Autore: Open Source Robotics
  • Pubblicato: 2026-10-17
  • Categoria: research

L'opzione di addestramento di LeRobot per lo streaming di un dataset dall'Hugging Face Hub ora usa un nuovo lettore costruito attorno a episodi interi, con più worker di caricamento per GPU. Nel test del team, π0.5 si è addestrato per otto ore su quattro H100 direttamente da un dataset di 10,7 TB, restando in attesa dei dati per lo 0,52% di ogni step. È sul branch main di LeRobot, non ancora in una release.

LeRobot, la libreria open source di Hugging Face per l'apprendimento robotico, ha sostituito il lettore dietro la sua opzione di addestramento --dataset.streaming=true. L'obiettivo è addestrare su dataset robotici da 100 TB e oltre direttamente dall'Hugging Face Hub o da uno Storage Bucket, senza prima copiare ogni video sul disco locale. Il team di LeRobot spiega come funziona, con benchmark, in un articolo interattivo annunciato il 17 ottobre. Il codice è in due pull request integrate: il nuovo lettore a pool di episodi (7 ottobre) e il caricamento con più worker (12 ottobre).

Episodi, non fotogrammi

Un dataset LeRobot conserva il video delle telecamere in file MP4 e stati, azioni e timestamp in tabelle Parquet, spesso con molti episodi per file. Recuperare singoli fotogrammi in rete è lento, perché un fotogramma video si può decodificare solo a partire dal keyframe che lo precede. Il nuovo lettore quindi recupera un episodio intero alla volta. Usa un indice di ciascun MP4 per richiedere solo i byte di quell'episodio, li tiene compressi in memoria come un piccolo video autonomo e legge solo le righe di tabella corrispondenti. Ogni campione di addestramento è costruito attorno a un fotogramma di ancoraggio preso da un pool limitato di episodi attivi, e ogni ancoraggio viene usato una volta per epoca. Quando un episodio si esaurisce, uno nuovo ne prende il posto. Mentre il modello si addestra su un batch, i processi worker recuperano e decodificano i successivi e li consegnano in un ordine fisso, così una lettura lenta ritarda i campioni anziché saltarli.

Cosa mostrano i test

- π0.5 si è addestrato per otto ore su quattro GPU H100 in streaming da RealOmni, un dataset di circa 10,7 TB. Ha consumato più di un milione di campioni a una media di 42,5 campioni al secondo per nodo, e ha trascorso lo 0,52% del tempo di ogni step in attesa dei dati. I riavvii dai checkpoint sono ripartiti con i campioni successivi attesi. - Su una macchina con 8 vCPU, quattro worker di caricamento hanno portato la produttività sul dataset di pick-and-place dell'SO-101 da 283 a 607 campioni al secondo. Un dataset a tre telecamere ha raggiunto da 1.130 a 1.354 campioni al secondo, circa da 2,3 a 2,5 volte più veloce che con un solo worker.

L'articolo chiarisce esplicitamente di non rivendicare un'epoca completa su 100 TB: la cifra di 100 TB è ciò per cui il design è pensato, non un'esecuzione che riporta.

Come usarlo

Aggiungete --dataset.streaming=true a un comando lerobot-train, e --dataset.repo_type=bucket quando i dati si trovano in un Bucket. Tre impostazioni bilanciano memoria contro velocità e varietà: il numero di episodi attivi nel pool, il numero di decoder video aperti e di campioni pronti, e --num_workers. L'articolo include un calcolatore interattivo per capire se a dettare il ritmo sia la rete, la decodifica o il modello. La documentazione sullo streaming riporta tutte le opzioni.

Cosa verificare prima

- È sul branch main di LeRobot. L'ultima release, la v0.6.1 di agosto, ha ancora il vecchio lettore in streaming. - I campioni vengono mescolati all'interno del pool di episodi attivi, non rimescolati sull'intero dataset. Il team afferma che nessuna delle due strategie di campionamento ha vantaggi di convergenza dimostrati. - Il dataset sorgente non dovrebbe cambiare durante l'addestramento: i repository sono fissati a una versione e i Bucket vengono verificati tramite hash del contenuto. - Per una strada diversa verso lo stesso obiettivo, LeRobot può anche addestrare da tabelle LanceDB nell'object storage con un rimescolamento globale completo.

Perché è importante

I dataset robotici crescono ormai più in fretta dei dischi su cui si addestra: un robot con tre telecamere a 20 fps registra un'immagine a pochi millisecondi di distanza dall'altra, giorno e notte, e le flotte arrivano a centinaia di terabyte. Finora, addestrare su un grande dataset LeRobot significava in pratica predisporre prima una copia locale completa dei suoi video. Un lettore che scarica episodi interi su richiesta, tiene la GPU sempre alimentata e riprende senza intoppi dopo un riavvio permette a un laboratorio di addestrare su dati della comunità o di una flotta che non entrerebbero mai in locale, e di avviare un'esecuzione senza aspettare un download.

Punti chiave

  • --dataset.streaming=true di LeRobot ora usa un nuovo lettore che recupera episodi interi dall'Hub o da un Bucket e ne tiene il video compresso in memoria
  • Ogni campione di addestramento proviene da un pool limitato di episodi attivi, e ogni fotogramma di ancoraggio viene usato una volta per epoca
  • Un'esecuzione di otto ore di π0.5 su quattro H100 ha letto in streaming un dataset di 10,7 TB, restando in attesa dei dati per lo 0,52% del tempo di ogni step
  • Più worker di caricamento (--num_workers) hanno dato fino a 2,5 volte la produttività di un solo worker su una macchina con 8 vCPU
  • È sul branch main di LeRobot, non ancora in una release; l'ultima release, la v0.6.1, ha il vecchio lettore

Il lato open source

Il lettore fa parte di LeRobot, che è sotto Apache-2.0, e l'articolo con le sue figure interattive è pubblicato apertamente sotto CC BY 4.0. I dataset di benchmark citati nell'articolo sono sull'Hugging Face Hub; il set di pick-and-place dell'SO-101 è sotto Apache-2.0.

Tecnologie correlate

  • LeRobot
  • LeRobot dataset v3
  • Hugging Face Hub
  • Hugging Face Storage Buckets
  • MP4
  • Parquet
  • π0.5

Progetti correlati

  • LeRobot
  • SO-101 Open Robot Arm
  • OpenPI

Link

  • Fonte: https://huggingface.co/spaces/lerobot/streaming-dataloader

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.