LeRobot: An Open-Source Library for End-to-End Robot Learning
Autori: Remi Cadene, Simon Alibert, Francesco Capuano, Michel Aractingi, Adil Zouitine, Pepijn Kooijmans, Jade Choghari, Martino Russi, Caroline Pascal, Steven Palma, Mustafa Shukor, Jess Moss, Alexander Soare, Dana Aubakirova, Quentin Lhoest, Quentin Gallouédec, Thomas Wolf · arXiv preprint 2026
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; l'immagine è riportata citando la sua fonte.
In breve
LeRobot è una libreria PyTorch open source che copre l'intero stack dell'apprendimento robotico: middleware per i motori di bracci a basso costo, un formato di dataset comune con streaming, policy pronte come ACT, Diffusion Policy, pi0 e SmolVLA, e uno stack di inferenza asincrona.
Perché è importante
Gli strumenti di apprendimento robotico sono spesso chiusi e coprono solo una parte dello stack. LeRobot riunisce controllo dell'hardware, raccolta dei dati, condivisione dei dataset, addestramento e impiego in un'unica libreria aperta. È costruita attorno a bracci a hardware aperto e a basso costo, così che più persone possano raccogliere dati dal mondo reale. A settembre 2025 erano stati condivisi nel suo formato LeRobotDataset oltre 16.000 dataset di oltre 2.200 contributori. Più della metà è stata registrata sui bracci a basso costo SO-100 e SO-101.
Problema
L'apprendimento robotico è frenato da strumenti frammentati. Il middleware che comunica con i motori è spesso scritto per un solo robot, quindi ogni gruppo costruisce i propri adattamenti. I dataset arrivano in molti formati, come TensorFlow Datasets, bag ROS o JSON personalizzato, e sono quindi difficili da combinare. Piccole differenze nell'implementazione di algoritmi, gestione dei dati e valutazione possono cambiare molto i risultati, e le differenze di hardware peggiorano le cose. I ricercatori spendono energie nell'integrazione dei sistemi invece che nella scienza.
Soluzione proposta
LeRobot è un'unica libreria Python open source in quattro parti. Primo, un middleware comune che controlla robot reali e supporta la teleoperazione da un braccio leader a un braccio follower; comunica direttamente con gli SDK degli attuatori FeeTech e Dynamixel. Secondo, LeRobotDataset, un formato di dataset che salva le tabelle come file Parquet e i flussi delle telecamere come video MP4, e che può trasmettere i dati in streaming senza scaricare l'intero dataset. Terzo, implementazioni in PyTorch puro di metodi di apprendimento robotico: HIL-SERL e TD-MPC per l'apprendimento per rinforzo, ACT, Diffusion Policy e VQ-BeT per l'imitazione su singolo compito, e pi0 e SmolVLA come modelli multitask. Quarto, uno stack di inferenza che può eseguire la policy su una macchina separata e prevedere il chunk di azioni successivo mentre il robot sta ancora eseguendo quello attuale.
Idee chiave
- LeRobotDataset salva i dati tabellari come file Parquet e i flussi delle telecamere come video MP4 con metadati leggeri, e la sua versione in streaming mantiene limitato l'uso di memoria qualunque sia la dimensione del dataset.
- I dataset di robot che LeRobot non controlla, come Franka Emika Panda e xArm, sono in testa per download, mentre i caricamenti della comunità provengono soprattutto dai bracci a basso costo SO-100 e SO-101.
- ACT è la policy più caricata; gli autori lo attribuiscono alle sue dimensioni ridotte, all'inferenza veloce e ai buoni risultati con appena 50 dimostrazioni nel mondo reale, anche se va riaddestrata quando cambiano le condizioni.
- I modelli grandi come pi0 richiedono molto più tempo per ogni passaggio in avanti e possono non terminare entro 5 s su dispositivi di fascia bassa, cosa che gli autori definiscono una sfida per l'impiego dei modelli fondazionali per robot.
- Separare la previsione delle azioni dalla loro esecuzione, e prevedere il chunk successivo mentre quello attuale è in esecuzione, evita che il robot resti inattivo e accorcia i tempi ciclo.
- La simulazione serve soprattutto a valutare gli algoritmi, tramite LIBERO e Meta-World, perché i compiti ricchi di contatti a cui punta LeRobot sono difficili da simulare; l'addestramento si fa su dati del mondo reale quando possibile.
Risultati principali
- A settembre 2025 erano stati condivisi nel formato LeRobotDataset oltre 16.000 dataset di oltre 2.200 contributori; più del 50% è stato registrato sui bracci SO-100 e SO-101.
- I robot supportati sono passati nel corso del 2025 da 3 configurazioni di manipolazione (Koch v1.1, SO-100, ALOHA) a 8 manipolatori normali, umanoidi e mobili.
- I kit di robot disponibili apertamente costano una frazione dei bracci industriali: circa €225 per un braccio SO-100/101 (€550 in versione bimanuale), €230 per LeKiwi, €500 per il braccio HopeJR, €670 per Koch v1.1 (€1.346 bimanuale) e €21k per ALOHA.
- Latenza di inferenza su 100 passaggi in avanti in fp32: ACT (52M parametri) ha richiesto circa 5 ms su una RTX 4090; SmolVLA (450M) circa 99 ms; pi0 (3.5B) circa 209 ms sulla RTX 4090, e ogni campione di pi0 ha superato il limite di 5 s su CPU e MPS di un MacBook Pro M1.
- Su un vero braccio SO-100 con SmolVLA in tre compiti con cubi, l'inferenza asincrona ha ridotto il tempo medio per compito da 13,75 s a 9,70 s e ha spostato 3,8 cubi per episodio di 60 s invece di 1,8; il successo medio è stato del 73,3% contro il 78,3% con la normale inferenza sincrona.
- Un modello si può addestrare da zero con meno di 100 righe di codice e servire con meno di 40.
Limiti
- La copertura dei robot è lontana dall'essere completa: la libreria supporta un insieme pratico ma incompleto di bracci, pinze, sensori e controller.
- La copertura degli algoritmi non è esaustiva; aggiungerne altri è lavoro futuro.
- Buone prestazioni di inferenza in pratica richiedono ancora ottimizzazioni di basso livello, come la quantizzazione e la compilazione dei grafi, che la libreria al momento non fa.
Impatto sul settore
LeRobot offre ai ricercatori uno stack aperto che va dal controllo dei motori alla policy addestrata, costruito attorno a robot che costano qualche centinaio di euro. Il suo formato di dataset ospita già migliaia di dataset della comunità, centinaia di migliaia di episodi e centinaia di modelli condivisi. Gli autori lo presentano come un passo importante verso uno stack end-to-end per l'apprendimento robotico e invitano la comunità ad ampliare la copertura di robot e algoritmi.
Abstract
La robotica sta vivendo una trasformazione significativa, spinta dai progressi delle tecniche di controllo di alto livello basate sull'apprendimento automatico, che hanno dato vita al campo dell'apprendimento robotico. I recenti progressi nell'apprendimento robotico sono stati accelerati dalla crescente disponibilità di sistemi di teleoperazione accessibili, di dataset aperti su larga scala e di metodi scalabili basati sull'apprendimento. Tuttavia, lo sviluppo nel campo dell'apprendimento robotico è spesso rallentato da strumenti frammentati e closed source, pensati per affrontare solo specifici sottocomponenti dello stack robotico. In questo articolo presentiamo lerobot, una libreria open source che si integra lungo tutto lo stack dell'apprendimento robotico, dalla comunicazione middleware di basso livello per il controllo dei motori fino alla raccolta, all'archiviazione e allo streaming di dataset su larga scala. La libreria è progettata con una forte attenzione alla robotica nel mondo reale, supporta piattaforme hardware accessibili e resta estendibile a nuove incarnazioni. Supporta inoltre implementazioni efficienti di vari algoritmi di apprendimento robotico allo stato dell'arte provenienti da diversi paradigmi di rilievo, nonché uno stack di inferenza asincrona generalizzato. A differenza delle pipeline tradizionali, che si basano molto su tecniche progettate a mano, lerobot privilegia approcci di apprendimento scalabili che migliorano direttamente con più dati e più calcolo. Progettata per accessibilità, scalabilità e apertura, lerobot abbassa la barriera d'ingresso alla robotica per ricercatori e professionisti, offrendo al tempo stesso una piattaforma per un apprendimento robotico riproducibile e allo stato dell'arte.
Link
- arXiv 2602.22818: https://arxiv.org/abs/2602.22818
- PDF: https://arxiv.org/pdf/2602.22818
- Codice: https://github.com/huggingface/lerobot
- Pagina del progetto: https://huggingface.co/lerobot