Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

LeRobot ora addestra direttamente da tabelle LanceDB nell'object storage

  • Fonte: Hugging Face and LanceDB
  • Autore: Open Source Robotics
  • Pubblicato: 2026-09-24
  • Categoria: research

Lo strato dei dataset di LeRobot ora legge nativamente le tabelle LanceDB, così l'addestramento può avvenire in streaming dall'object storage con un rimescolamento globale completo invece di scaricare prima i dati. Sull'intero DROID l'esecuzione remota è terminata 33 minuti prima di quella su copia locale, con loss identica. Il supporto è sul branch main di LeRobot ma non ancora in una release.

Rettifica, 29 ottobre 2026. Una versione precedente di questo articolo indicava per DROID circa 27,6 milioni di fotogrammi. Il post citato non riporta questo dato, che è stato quindi rimosso.

---

LeRobot ora può addestrare direttamente da dataset memorizzati come tabelle LanceDB, leggendo dall'object storage solo i byte necessari a ciascun batch invece di scaricare prima il dataset. Ingegneri di Hugging Face e LanceDB hanno descritto l'integrazione il 24 settembre, un mese dopo che il supporto stesso era stato integrato nel branch main di LeRobot il 28 agosto. Lance è il primo formato di archiviazione alternativo che il livello dei dataset di LeRobot legge in modo nativo, e non serve cambiare nulla nel codice di registrazione o di addestramento: il comando lerobot-train esistente punta a una tabella Lance e sceglie da solo il loader giusto.

L'effetto pratico è che un dataset troppo grande per essere copiato su ogni macchina di addestramento può restare dov'è. Puntato su un Hugging Face Storage Bucket, un addestramento di SmolVLA su due H100 ha consumato dal bucket gli stessi 212 campioni al secondo che consumava da una copia locale su NVMe, con una curva di loss identica. Il test più ampio è stato su tutto DROID, 369 GB di video, letto da un object store remoto con un rimescolamento globale su ogni fotogramma. In due addestramenti da 10.000 passi per il resto identici su otto H100, quello con LanceDB è terminato in 1 ora e 27 minuti contro le 2 ore del lettore standard su una copia locale che richiedeva prima un download di 384 GB. L'addestramento standard ha passato il 37 percento del tempo ad aspettare i dati; quello con LanceDB meno del 2 percento. La loss finale coincideva fino alla quarta cifra decimale.

La seconda parte del ragionamento riguarda la cura dei dati. Poiché i dati di addestramento sono già una tabella LanceDB, embedding, punteggi derivati e indici full-text possono stare come colonne sulle stesse righe che il trainer legge, quindi cercare e filtrare i dati non significa esportarli in un database vettoriale separato. Gli autori hanno calcolato gli embedding di 610.403 fotogrammi di DROID con SigLIP2 e hanno usato query combinate visive e SQL per individuare comportamenti privi di etichetta: fotogrammi di tessuti spostati in case diverse, il cui testo del compito non li menzionava mai. Gli episodi si possono ispezionare in Foxglove direttamente dalla tabella.

Una scansione completa di DROID ha prodotto tre risultati utili qualunque cosa si usi per addestrare: il filtro dei periodi di inattività in OpenPI rimuove l'11.66 percento del dataset e codifica in modo fisso la lunghezza risultante invece di calcolarla; la suddivisione predefinita 80/20 mette ogni edificio e ogni raccoglitore di dati sia nel set di addestramento sia in quello di validazione, quindi ha una perdita di informazioni; e gli episodi riusciti si sono rivelati più bruschi di quelli falliti, il che significa che il comune filtro sulla fluidità scarterebbe dati buoni. Su LIBERO, dove il successo si può misurare in simulazione, corrompere deliberatamente il 30 percento delle dimostrazioni e poi rimuoverle con tre query sulla tabella ha permesso di ottenere una policy migliore rispetto all'addestramento sul set disordinato.

Due cose vanno chiarite. Il lettore nativo è sul branch main di LeRobot ma non ancora in una release ufficiale, l'ultima, la v0.6.1, è precedente, quindi oggi richiede l'installazione dai sorgenti. E il passaggio che aggiunge una colonna calcolata senza riscrivere i dati, alla base del flusso di lavoro di cura, è descritto come una funzione di LanceDB Enterprise; il lettore open source e il formato Lance sono ciò da cui dipende LeRobot stesso. Gli autori hanno pubblicato una demo interattiva che esegue queste query sull'intera tabella di DROID.

Perché è importante

I dataset per l'apprendimento robotico sono diventati troppo grandi per l'abitudine di copiarli su ogni macchina di addestramento: il solo DROID occupa diverse centinaia di gigabyte di video. Lo streaming dall'object storage senza perdere produttività della GPU né qualità del rimescolamento elimina quel passaggio di copia, e tenere ricerca, punteggi ed embedding sulla stessa tabella letta dal trainer trasforma la cura dei dati in una query anziché in una pipeline di esportazione. Le scoperte di una sola scansione di DROID (una suddivisione predefinita con fughe di dati, un filtro di qualità che punta nella direzione sbagliata) mostrano perché vale la pena rendere la cura economica.

Punti chiave

  • LeRobot ora legge nativamente i dataset memorizzati come tabelle LanceDB; il codice di registrazione e di addestramento non cambia e lerobot-train sceglie da solo il loader
  • L'addestramento può avvenire in streaming da un Hugging Face Storage Bucket o da un altro object store, con un rimescolamento globale su ogni fotogramma e senza download
  • Sull'intero DROID, un'esecuzione remota con LanceDB è terminata in 1 h 27 m contro le 2 h di un'esecuzione su copia locale, con loss identica e l'1,7% del tempo in attesa dei dati invece del 37,4%
  • Embedding, punteggi e indici possono stare come colonne sulla tabella di addestramento, quindi cura ed estrazione dei dati sono query anziché esportazioni
  • Una scansione di DROID ha rilevato una suddivisione predefinita addestramento/validazione con fughe di dati e un filtro sulla fluidità che rimuove dati buoni
  • Il supporto è sul branch main di LeRobot ma non ancora in una release taggata, e il riempimento delle colonne usato per la cura è una funzionalità di LanceDB Enterprise

Il lato open source

L'integrazione è in LeRobot stesso, sotto la sua licenza Apache-2.0, integrata nel branch main il 28 agosto, e il formato Lance che legge è open source. Il confine da tenere d'occhio è quello con l'offerta commerciale di LanceDB: aggiungere a una tabella una colonna calcolata senza riscriverla, il passaggio su cui si basa il flusso di cura, è presentato come una funzionalità di LanceDB Enterprise. Addestrare da tabelle Lance e interrogarle non dipende da essa.

Tecnologie correlate

  • LeRobot
  • LanceDB
  • Lance
  • SmolVLA
  • DROID
  • Foxglove
  • Hugging Face Storage Buckets

Link

  • Fonte: https://huggingface.co/blog/CarolinePascal/how-to-train-your-robot-the-lancedb-edition

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.