FiftyOne legge direttamente i dataset LeRobot, con ricerca tra gli episodi
- Fonte: Voxel51 and Hugging Face
- Autore: Open Source Robotics
- Pubblicato: 2026-10-05
- Categoria: research
FiftyOne, lo strumento open source di Voxel51 per la cura dei dataset, ora apre i dataset LeRobot v3 senza convertirli né copiare i video. Ogni episodio si può riprodurre con telecamere, stati e azioni sincronizzati, poi filtrare, cercare per testo o similarità ed esportare come nuovo dataset LeRobot. Legge solo la v3, e il loader è arrivato con FiftyOne 1.22.0.
FiftyOne, lo strumento open source per la cura dei dataset di Voxel51, ora apre i dataset LeRobot v3 così come sono. Basta indicargli la cartella di un dataset e ogni episodio diventa un campione che si può riprodurre, filtrare e cercare, senza conversioni di formato e senza video ricodificati o copiati. Ingegneri di Voxel51 e di Hugging Face hanno descritto il supporto il 5 ottobre; il loader vero e proprio è arrivato con FiftyOne 1.22.0 il 12 settembre, elencato nelle note di rilascio come nuovo tipo LeRobotDataset con un visualizzatore di episodi.
Com'è fatto un episodio
L'importazione legge solo i file di metadati del dataset. Ogni campione è un puntatore: quali righe dei file Parquet contengono gli stati e le azioni dell'episodio, e quale finestra temporale dell'MP4 di ciascuna telecamera ne contiene il video. Nell'app ogni telecamera ha il proprio riquadro, e un riquadro State & Action mostra il valore di ogni giunto fotogramma per fotogramma, sincronizzato con il video. Tipo di robot, compito, durata e frequenza dei fotogrammi di ogni episodio diventano normali campi, quindi “tutti gli episodi SO-101 più lunghi di dieci secondi” è un filtro anziché uno script. La documentazione di FiftyOne descrive l'importazione e i campi.
L'esempio pratico
L'annuncio è accompagnato da un dataset di esempio da 497 episodi, estratto dal LeRobot community dataset v3: circa dieci episodi per ciascuno di 50 tipi di robot. Ogni episodio porta con sé un embedding video calcolato con Qwen3-VL-Embedding-2B su un massimo di 32 fotogrammi equidistanti. È questo a far funzionare la parte di cura: cercare episodi tramite una descrizione testuale, trovare gli episodi più simili a uno scelto e assegnare a ogni episodio un punteggio di quanto è insolito o tipico, così da individuare quasi-duplicati e outlier prima dell'addestramento.
Riportare fuori i dati
Una selezione filtrata arriva all'addestramento in tre modi: leggendo le righe sul posto tramite il puntatore, passando i numeri degli episodi scelti al loader LeRobotDataset di LeRobot, oppure esportando la selezione come nuovo dataset LeRobot v3 autonomo. Solo l'esportazione copia i dati.
Cosa verificare prima
- Viene letta solo la v3 di LeRobot; i dataset più vecchi vanno prima convertiti con gli strumenti di LeRobot. - I campioni puntano ai file sorgente, quindi un dataset spostato o modificato va importato di nuovo. - I numeri degli episodi ripartono da zero in ogni dataset sorgente. Quando si caricano più dataset insieme, filtrate per nome del dataset prima di esportare o addestrare, ed esportate un dataset sorgente alla volta, perché i loro schemi sono diversi. - Caricare un dataset LeRobot direttamente dall'Hugging Face Hub ha richiesto una correzione integrata il 5 ottobre, dopo l'ultima release (1.22.1), quindi fino alla prossima versione la strada sicura è una cartella locale.
Perché è importante
La maggior parte dei dataset per l'apprendimento robotico viene giudicata dalle dimensioni, perché guardarci dentro è lento: migliaia di episodi, diverse telecamere ciascuno e nessun modo rapido per vedere quali sono quasi-copie, quali sono difettosi e quali mostrano qualcosa di raro. Uno strumento che legge il formato LeRobot sul posto, riproduce qualsiasi episodio con i valori dei giunti a fianco e ordina gli episodi in base a quanto sono tipici o insoliti rende l'ispezione abbastanza economica da farla prima di ogni addestramento. Inoltre offre ai dataset della comunità registrati su bracci a basso costo gli stessi strumenti di cura di cui i dataset di immagini dispongono da anni.
Punti chiave
- FiftyOne 1.22.0 e successivi caricano i dataset LeRobot v3 con una sola chiamata; all'importazione nulla viene convertito, ricodificato o copiato
- Ogni episodio è un campione: ogni telecamera si riproduce nel proprio riquadro, con stati e azioni dei giunti mostrati fotogramma per fotogramma in sincronia con il video
- Tipo di robot, compito, durata e frequenza dei fotogrammi sono campi interrogabili, quindi selezionare gli episodi è un filtro anziché uno script
- Con gli embedding video aggiunti, gli episodi si possono cercare per testo, abbinare a episodi simili e valutare come insoliti o tipici
- Una selezione torna all'addestramento sul posto, tramite il loader di LeRobot o come dataset LeRobot v3 esportato
- È supportata solo la v3, e il caricamento dall'Hugging Face Hub richiede una correzione integrata dopo la release 1.22.1
Il lato open source
FiftyOne è open source con licenza Apache-2.0 e il supporto a LeRobot fa parte di quel pacchetto open source, non del prodotto commerciale FiftyOne Enterprise di Voxel51. Il dataset di esempio è pubblicato sotto Apache-2.0 sull'Hugging Face Hub e attinge a registrazioni fornite dalla comunità LeRobot. Le note di rilascio elencano però a parte il caricamento dei dataset LeRobot dal cloud storage, ed è questa la parte da confrontare con l'elenco delle funzionalità Enterprise prima di farci affidamento.
Tecnologie correlate
- FiftyOne
- LeRobot
- LeRobot dataset v3
- Qwen3-VL-Embedding
- Parquet
- Hugging Face Hub
Progetti correlati
Link
- Fonte: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis