LeRobot 0.7.0 aggiunge i world action model, l'inferenza remota e uno stack di addestramento ricostruito

Fonte: Hugging Face (LeRobot team)
Autore: Open Source Robotics
Pubblicato: 2026-11-05
Categoria: research

Hugging Face ha pubblicato LeRobot v0.7.0 il 5 novembre. Porta i rollout interattivi in una release, aggiunge quattro world action model e quattro modelli vision-language-action, ricostruisce l'addestramento per modelli da miliardi di parametri e permette a un robot di eseguire la propria policy su una GPU remota. L'aggiornamento dalla 0.6 cambia installazione, tracciamento degli esperimenti e driver dei motori.

LeRobot, la libreria open source di Hugging Face per l'apprendimento robotico, ha pubblicato la v0.7.0 il 5 novembre, tre mesi dopo la v0.6.1. Il post di presentazione del team la descrive come un lavoro su entrambe le estremità della vita di una policy: addestrare su terabyte di dimostrazioni senza scaricarle prima, e parlare con il robot una volta che la policy è in esecuzione. Ricostruisce inoltre installazione, addestramento, inferenza e strato hardware, quindi l'aggiornamento dalla 0.6 richiede alcune modifiche (vedi l'ultima sezione).

Parlare con una policy in esecuzione

I rollout interattivi, di cui abbiamo parlato quando sono arrivati sul branch main, sono ora in una release. Aggiungendo --interactive=true a lerobot-rollout, robot, policy e processori restano caricati: /subtask cambia l'istruzione mentre il braccio si muove, /vqa chiede alla policy cosa vede e /autosteer le assegna un obiettivo, così sceglie da sé i propri sotto-compiti. Gli ultimi due richiedono una policy che scrive testo, come FineART-VLA, addestrata sul dataset FineART, o Wall-OSS-0.5, oppure un modello Vision-Language esterno dietro un'API compatibile con OpenAI.

Nuovi modelli

Entrano nella libreria quattro world action model, che prevedono insieme il video futuro e le azioni successive:

- Cosmos 3 di NVIDIA, nelle taglie Nano da 16,5B ed Edge da 4,6B. Il team riporta un successo medio del 97,90% e del 97,95% su LIBERO, ed entrambi si possono sottoporre a fine-tuning completo o con LoRA. - FLUX 3 Action di Black Forest Labs. LeRobot esegue inferenza e fine-tuning con LoRA; per addestrare un nuovo embodiment si usa il repository flux-action di Black Forest Labs. - LaWAM del team RLinf, che apprende la dinamica in uno spazio latente. - Long-WAM del team LongLive di NVIDIA, pensato per contesti lunghi.

Arrivano anche quattro modelli vision-language-action: G0.5 di OpenGalaxea, che scrive il sotto-compito in corso prima delle proprie azioni; LingBot-VLA 2.0 di Robbyant; DM0.5 di Dexmal, portato da OpenDM; e Wall-OSS-0.5 di X Square Robot.

Addestramento e dati su larga scala

- FSDP1 è sostituito da FSDP2 e dallo sharding HSDP, dall'accumulo dei gradienti e dai checkpoint distribuiti. Su un nodo 8×H200 con un modello da 6B, il team ha misurato un salvataggio dei checkpoint 3x più veloce e un picco di memoria alla ripresa sceso da 143 GB a 42 GB per GPU (documentazione multi-GPU). - L'addestramento guadagna la precisione mista FP16, una media mobile opzionale dei pesi (EMA) e Trackio, il tracker open source di Hugging Face, che sostituisce del tutto Weights & Biases. - L'aumento dei dati sulle immagini può girare sulla GPU; il team ha misurato un addestramento di ACT 2,8x più veloce su una H100 e 3,3x su una A100. - L'addestramento dall'Hub senza download (il nostro articolo) e da tabelle LanceDB (il nostro articolo) sono entrambi nella release.

Inferenza remota, simulazione e hardware

- lerobot-policy-server esegue il modello su una macchina con GPU, mentre un portatile o un computer a scheda singola accanto al robot gestisce telecamere, motori e registrazione. Il robot segue le azioni nel buffer mentre il server calcola il blocco successivo, tramite Zenoh (documentazione). - Ogni simulatore ora gira attraverso un unico core, nello stesso processo o nella propria immagine Docker dietro lerobot-env-server, così i simulatori non entrano più in conflitto sulle versioni delle dipendenze. Il primo benchmark su questa base è RoboLab di NVIDIA, 120 compiti da tavolo per la configurazione Franka di DROID su Isaac Lab. lerobot-eval ora riporta un intervallo di confidenza del 95% con ogni tasso di successo. - Hardware: uno o due bracci I2RT YAM; il reBot B601 con motori RobStride oltre che Damiao; e l'Unitree G1 con il decoder del controller per il controllo del corpo intero SONIC di NVIDIA, di cui abbiamo parlato in precedenza, più il G1 a 23 gradi di libertà.

Prima di aggiornare

- Su Linux, torch ora arriva da PyPI come build CUDA 13 che richiede il driver NVIDIA 580.65 o successivo; con un driver più vecchio, installate prima torch da un indice CUDA 12 (guida all'installazione). macOS richiede la versione 14 o successiva. - Le opzioni --wandb. diventano --trackio., e i checkpoint non vengono più caricati come artifact per impostazione predefinita. - I checkpoint FSDP salvati con la 0.6 o precedenti non si possono riprendere, anche se i loro pesi si caricano ancora. - lerobot[async] e lerobot.async_inference non ci sono più; installate invece lerobot[remote]. - I motori Feetech e Dynamixel ora condividono un unico bus basato su rustypot. I vecchi nomi delle classi funzionano ancora come alias deprecati, e i file di calibrazione non cambiano. - --policy.use_peft=true ora addestra con LoRA; prima eseguiva silenziosamente un fine-tuning completo.

Perché è importante

LeRobot è il punto d'incontro di molte policy, dataset e bracci robotici aperti, quindi ciò che supporta decide cosa può provare la maggior parte delle configurazioni hobbistiche e di laboratorio senza scrivere codice di raccordo proprio. Questa release porta le famiglie di modelli più recenti, tra cui i world action model, negli stessi comandi di addestramento e di rollout delle policy più vecchie, e l'inferenza remota fa sì che un piccolo computer di bordo non limiti più il modello che un robot può eseguire. Le modifiche non retrocompatibili contano altrettanto: chi ha una configurazione 0.6 funzionante dovrebbe leggere le note di aggiornamento prima di aggiornare.

Punti chiave

LeRobot v0.7.0 è uscito il 5 novembre, tre mesi dopo la v0.6.1.
I rollout interattivi sono ora in una release: cambiare l'istruzione di una policy in esecuzione, chiederle cosa vede o assegnarle un obiettivo.
Sono supportati quattro world action model (Cosmos 3, FLUX 3 Action, LaWAM, Long-WAM) e quattro VLA (G0.5, LingBot-VLA 2.0, DM0.5, Wall-OSS-0.5).
lerobot-policy-server esegue il modello su una macchina con GPU mentre il computer del robot gestisce telecamere e motori.
L'aggiornamento cambia l'installazione (build CUDA 13), sostituisce Weights & Biases con Trackio e porta i motori Feetech e Dynamixel su un unico bus rustypot.

Il lato open source

LeRobot in sé è sotto Apache-2.0, ma i modelli che ora carica hanno condizioni diverse: LingBot-VLA 2.0 è sotto Apache-2.0 e i checkpoint di Cosmos 3 usano la licenza OpenMDW 1.1, mentre G0.5 è non commerciale, DM0.5 e FineART-VLA sono soggetti ai termini di Gemma e FLUX 3 Action richiede una richiesta di accesso secondo la FLUX Kommunity License di Black Forest Labs. Controllate la scheda del modello prima di costruire su un checkpoint.

Tecnologie correlate

World action models
Vision-language-action models
FSDP2
Remote inference
Zenoh

Progetti correlati

Link

Fonte: https://huggingface.co/blog/lerobot/lerobot-release-v070