Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

LeRobot ora cambia l'istruzione di un robot a metà movimento, senza reset

  • Fonte: Hugging Face (LeRobot team)
  • Autore: Open Source Robotics
  • Pubblicato: 2026-10-30
  • Categoria: research

Il comando di rollout di LeRobot ha una modalità interattiva che accetta una nuova istruzione mentre una policy è in esecuzione, da una persona o da un modello di pianificazione separato, senza reset. Nelle registrazioni del team, π0.5 porta un blocchetto verso un obiettivo e cambia rotta verso un altro quando gli viene detto. È sul branch main di LeRobot, non ancora in una release, e il team precisa che le clip non sono una misura dei tassi di successo.

LeRobot, la libreria open source di Hugging Face per il robot learning, ora può ricevere una nuova istruzione mentre una policy è in esecuzione. Aggiungi --interactive=true a un comando lerobot-rollout e il modello, le fotocamere e la connessione al robot restano caricati mentre cambi ciò che chiedi, senza reset tra un'istruzione e l'altra. Il team spiega come funziona in Prompting Robots with LeRobot, pubblicato il 30 ottobre come seconda parte di una serie iniziata con Robots That Talk. Il controller interattivo è stato integrato il 13 agosto e la guida da parte di un modello esterno il 15 ottobre.

Come funziona la guida

L'articolo mostra registrazioni fatte in RoboLab il 28 settembre con i pesi DROID di π0.5:

- Una destinazione cambiata. L'istruzione è mettere il blocco blu sul blocco rosso. Quando il braccio sta già trasportando il blu, una persona la cambia nel blocco giallo. Il braccio cambia direzione e mette il blu sul giallo, in un unico rollout continuo. - Un obiettivo più ristretto. Il compito della scena chiede di mettere nella ciotola sia una mela sia uno yogurt. Quando gli si dice di lasciare lo yogurt, π0.5 sposta solo la mela, con lo stesso checkpoint e senza riaddestramento. - Un pianificatore nel ciclo. DeepSeek Flash, raggiunto tramite gli Hugging Face Inference Providers, osserva le fotocamere esterna e da polso e invia una breve istruzione alla volta, mentre π0.5 trasforma ciascuna in movimento. Quando gli si dice di mettere nella ciotola solo un cubo di Rubik, lascia la banana sul tavolo.

Il team afferma che queste clip sono esempi, non una stima dei tassi di successo. Un'altra delle sue registrazioni è un tentativo di presa e ripianificazione esplicitamente incompleto.

I comandi

In una sessione, /start avvia l'esecuzione, /subtask <text> imposta l'istruzione, /vqa <question> fa una domanda sulla scena senza cambiare il compito e /autosteer <goal> chiede alla policy i suoi prossimi passi. /reset ferma il braccio, lo riporta alla posizione iniziale e ripristina il compito di avvio, e /stop termina la sessione. /vqa e /autosteer funzionano solo dove la policy li supporta. La guida al rollout tratta la configurazione su hardware reale, e la demo Steer a robot with words permette di provare l'idea del pianificatore in simulazione.

Policy che sanno anche parlare

L'altro tema dell'articolo è addestrare le policy a produrre linguaggio oltre che a seguirlo. FineART-VLA, integrato il 6 ottobre, mantiene l'architettura di π0.5 e addestra anche la sua testa linguistica a prevedere sotto-compiti, risposte sulle immagini o aggiornamenti della memoria. Un sistema di ricette condiviso conserva le annotazioni nel dataset e sceglie quelle necessarie a ciascun obiettivo di addestramento, così cambiare obiettivo non significa annotare di nuovo.

Cosa verificare prima

- È sul branch main di LeRobot. L'ultima release, la v0.6.1 del 3 agosto, è uscita prima che queste modifiche fossero integrate. - Le dimostrazioni possono prevalere sull'istruzione. Il team ha fatto il fine-tuning di G0.5 su 171 episodi di un braccio OMX che posiziona cubi, sempre partendo dal più vicino. Quando con /subtask si chiedeva un cubo più lontano, il braccio andava spesso comunque verso quello più vicino. - Su quel compito semplice, le previsioni di sotto-compiti e riquadri non hanno migliorato chiaramente il successo. Il team afferma che hanno reso i rollout più facili da seguire.

Perché è importante

La maggior parte delle policy robotiche apprese riceve una sola istruzione all'inizio di un episodio, e correggerla significa fermarsi e ricominciare. Trattare l'istruzione come qualcosa che può cambiare durante un rollout rende una policy più facile da testare, perché si può cambiare una frase e vedere cosa succede, e offre ai pianificatori un modo semplice per dirigere una policy che non hanno addestrato. Mostra anche chiaramente il limite: le parole guidano una policy solo fin dove lo consentono i suoi dati di addestramento.

Punti chiave

  • lerobot-rollout --interactive=true mantiene caricati il modello, le fotocamere e il robot mentre le istruzioni cambiano, senza reset.
  • Le istruzioni possono arrivare da una persona, dalla testa linguistica della policy stessa se ne ha una, oppure da un modello visione-linguaggio separato.
  • Nella registrazione del team, π0.5, mentre portava un blocco blu verso il rosso, lo ha spostato sul giallo dopo il cambio di istruzione.
  • È solo sul branch main: la v0.6.1 del 3 agosto è precedente, e le registrazioni sono esempi, non un benchmark.
  • Le dimostrazioni limitano la guida: un fine-tuning di G0.5 addestrato a prendere prima il cubo più vicino ignorava spesso la richiesta di uno più lontano.

Il lato open source

LeRobot è sotto Apache-2.0, e il controller interattivo, il collegamento al pianificatore esterno, FineART-VLA e il sistema di ricette sono tutti integrati nel suo repository pubblico. Gli esempi di pianificazione dell'articolo usano DeepSeek Flash tramite Hugging Face Inference Providers, un servizio ospitato, quindi quella parte della configurazione gira fuori dalla vostra macchina.

Tecnologie correlate

  • Vision-language-action models
  • π0.5
  • FineART-VLA
  • G0.5
  • Flow matching

Progetti correlati

  • LeRobot
  • OpenPI

Link

  • Fonte: https://huggingface.co/spaces/lerobot/language-conditioned-policies

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.