Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

VLAb

Libreria semplificata per il preaddestramento di modelli VLA su dataset robotici

Licenza

Apache-2.0

Panoramica

Libreria semplificata per il preaddestramento di modelli Vision-Language-Action (VLA) su dataset robotici. Derivata da LeRobot, punta su flussi di preaddestramento efficienti su configurazioni multi-GPU e cluster SLURM. È il kit di riproduzione ufficiale di SmolVLA, con dataset, configurazioni e flussi di lavoro quasi identici. Offre una configurazione semplificata con un solo comando, supporto all'addestramento distribuito tramite Accelerate e addestramento su più dataset con strategie di campionamento configurabili. Include l'accesso a oltre 340 dataset selezionati di dimostrazioni con bracci robotici, incentrati su compiti di manipolazione su tavolo.

VLAb è una libreria semplificata derivata da LeRobot che si concentra sul preaddestramento di modelli Vision-Language-Action (VLA) su dataset robotici, e funge da kit di riproduzione ufficiale di SmolVLA. Offre una configurazione con un solo comando, il supporto all'addestramento distribuito tramite HuggingFace Accelerate su configurazioni multi-GPU e cluster SLURM, e l'accesso a oltre 340 dataset selezionati di dimostrazioni con bracci robotici incentrati sulla manipolazione su tavolo. La libreria semplifica in un pacchetto portabile e riproducibile quello che di solito è un flusso di lavoro complesso con molti componenti: caricamento dei dataset, preelaborazione, configurazione del modello e addestramento distribuito. VLAb consente ai ricercatori di preaddestrare o riprodurre da zero foundation model VLA indipendentemente dal loro ambiente di calcolo.

Perché è importante

VLAb semplifica la parte più onerosa dal punto di vista computazionale dello sviluppo dei modelli VLA: il pre-addestramento. Derivato da LeRobot, offre flussi di lavoro di addestramento multi-GPU e SLURM ottimizzati che rendono praticabile il pre-addestramento su larga scala di modelli vision-language-action.

Il problema che risolve

Il pre-addestramento dei modelli VLA richiede di gestire un addestramento distribuito su più GPU e cluster di calcolo. VLAb fornisce l'infrastruttura per farlo in modo efficiente, riducendo l'onere ingegneristico dell'addestramento su larga scala dei modelli robotici.

Punti chiave

  • Libreria semplificata per il pre-addestramento di modelli VLA su dataset di robotica
  • Derivata da LeRobot, con attenzione a flussi di lavoro di pre-addestramento efficienti
  • Supporto multi-GPU e ai cluster SLURM già pronto
  • Caricamento dei dati e cicli di addestramento ottimizzati per l'addestramento su larga scala
  • Si integra con l'ecosistema HuggingFace per la condivisione dei modelli

A chi si rivolge

  • Team che fanno il pre-addestramento di foundation model VLA
  • Ricercatori che scalano l'addestramento dei modelli robotici su cluster di calcolo
  • Sviluppatori che lavorano su LeRobot e hanno bisogno di un'infrastruttura di addestramento
  • Laboratori con cluster SLURM che addestrano grandi modelli robotici

Limiti

  • Incentrato sul pre-addestramento: fine-tuning e deployment sono gestiti altrove
  • Richiede una configurazione multi-GPU per un'accelerazione significativa
  • Derivato da LeRobot: può restare indietro rispetto alle modifiche del progetto originale
  • L'integrazione SLURM presuppone configurazioni specifiche del cluster

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.