Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

SmolVLA

Modello VLA da 450M di parametri che gira su hardware consumer

Licenza

Apache-2.0

Panoramica

Modello Vision-Language-Action (VLA) compatto da 450M di parametri di HuggingFace che gira su hardware consumer. Addestrato esclusivamente su dataset open source della comunità LeRobot, SmolVLA raggiunge prestazioni paragonabili a quelle di VLA 10 volte più grandi (87,3% sul benchmark LIBERO, alla pari con π₀ da 3,3B). Offre inferenza asincrona per frequenze di controllo più elevate, può essere addestrato su una singola GPU e si impiega su GPU consumer o perfino su CPU. Costruito su SmolVLM-2 con l'encoder visivo SigLIP, è pensato per una ricerca robotica economica e accessibile.

SmolVLA è un modello Vision-Language-Action (VLA) compatto da 450M di parametri di HuggingFace che gira su hardware consumer ed è addestrato esclusivamente su dataset open source della comunità LeRobot. Nonostante le dimensioni ridotte, SmolVLA raggiunge prestazioni paragonabili a quelle di VLA 10 volte più grandi (87,3% sul benchmark LIBERO, alla pari con pi0 da 3,3B). Costruito su SmolVLM2-500M con l'encoder visivo SigLIP e il decoder linguistico SmolLM2, usa come action expert un Transformer a flow matching da ≈100M di parametri. Le innovazioni principali includono la riduzione dei token visivi (64 token contro 1024), il salto di strati per dimezzare i costi di calcolo e l'inferenza asincrona, che offre un completamento più rapido del 30% e un throughput dei compiti doppio (2x).

Perché è importante

SmolVLA dimostra che i foundation model per la robotica non hanno bisogno di miliardi di parametri. Con soli 450M di parametri, gira su hardware consumer ottenendo prestazioni competitive, ed è stato addestrato interamente su dati open source raccolti dalla comunità tramite LeRobot.

Il problema che risolve

La maggior parte dei modelli VLA richiede GPU costose per l'inferenza, il che ne limita l'impiego nel mondo reale. SmolVLA è abbastanza piccolo da girare su hardware consumer, rendendo i modelli Vision-Language-Action (VLA) pratici per hobbisti, piccoli laboratori e scenari di impiego edge.

Punti chiave

  • Solo 450M di parametri: esegue l'inferenza su GPU consumer e perfino su laptop
  • Addestrato esclusivamente su dataset open source della comunità LeRobot
  • Prestazioni competitive con modelli 10 volte più grandi
  • Nativo di HuggingFace: facile da scaricare, sottoporre a fine-tuning e impiegare
  • Dimostra la fattibilità di uno sviluppo di foundation model per la robotica guidato dalla comunità

A chi si rivolge

  • Hobbisti con GPU di fascia consumer
  • Piccoli laboratori di ricerca con capacità di calcolo limitate
  • Membri della comunità LeRobot
  • Sviluppatori che esplorano i modelli VLA per la prima volta

Limiti

  • La minore capacità del modello limita le prestazioni nei compiti complessi
  • Addestrato su dati della comunità limitati rispetto ai modelli più grandi
  • Può avere difficoltà con compiti che richiedono una pianificazione a lungo orizzonte
  • Relativamente nuovo: meno validato in scenari diversi

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.