Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

LeRobot ora guida l'umanoide Unitree G1 con un VLA e un controller per il corpo intero

  • Fonte: Hugging Face LeRobot team
  • Autore: Open Source Robotics
  • Pubblicato: 2026-09-25
  • Categoria: business

Il team di LeRobot ha pubblicato un flusso di lavoro completo per l'umanoide Unitree G1. Una policy π0.5 prevede token di movimento e il controller SONIC di NVIDIA li trasforma in movimenti del corpo intero in equilibrio, con piattaforma di teleoperazione, hardware stampabile, dataset e pesi tutti rilasciati. Il percorso SONIC è sul branch main di LeRobot, non ancora in una release.

LeRobot ora può eseguire una policy appresa su un umanoide a grandezza naturale. In un post del 25 settembre, il team LeRobot di Hugging Face mostra l'intera catena su un Unitree G1: teleoperazione del corpo intero, un dataset, un modello vision-language-action con fine-tuning e un controller che tiene in piedi un bipede a 29 giunti mentre il modello decide cosa fare.

Il design risponde a un problema che i bracci non hanno mai avuto. Un VLA è troppo lento per mantenere in equilibrio da solo un robot che cammina, quindi LeRobot mette un controller veloce tra i due. La policy è π0.5 di OpenPI, e prevede un token di movimento compatto a 64 dimensioni anziché angoli dei giunti. Il decoder di SONIC di NVIDIA, parte di GR00T-WholeBodyControl, trasforma ogni token, insieme allo stato recente del corpo, in riferimenti per i giunti a 50 Hz sul robot. La ricetta segue l'articolo scientifico OpenHLM, con una modifica: LeRobot addestra il VLA direttamente sul token latente. Il decoder SONIC è stato integrato in LeRobot il 17 agosto come reimplementazione ONNX in puro Python.

Il compito dimostrativo è portare una lattina fino a un tavolo. Il suo dataset contiene circa 100 episodi, all'incirca 71 minuti di teleoperazione in VR con tre telecamere. π0.5 è stato sottoposto a fine-tuning su di esso per 12.000 step su quattro H100, e la policy risultante è pubblica. Il robot stesso è modificato: pinze OpenArm su adattatori da polso stampati, una telecamera sulla testa e uno zaino stampato per l'adattatore CAN-FD e i cavi. Anche le parti stampabili sono state rilasciate.

Il post tratta anche un secondo esperimento e lo stack più ampio. Il team ha addestrato un adattatore LoRA su SONIC in mjlab con PPO, così il G1 schiva palle lanciate usando la profondità della telecamera sulla testa. Questo segue ViBE. In simulazione ha schivato il 79,1% dei lanci, contro lo 0% con l'ingresso di profondità oscurato. Il team dice chiaramente che si tratta di un dato di simulazione, e che la clip sull'hardware è una dimostrazione, non una valutazione. Il G1 si può anche comandare tramite il controllo del corpo intero di GR00T o con Holosoma di Amazon FAR. Dispone di una simulazione in MuJoCo e della cinematica inversa per le braccia, e il guanto e l'esoscheletro Homunculus del team registrano la teleoperazione direttamente dal movimento delle articolazioni. Quei dispositivi erano stati costruiti inizialmente per HOPEJr.

Una cosa da chiarire. Il supporto al G1 è presente nelle release di LeRobot da mesi, ma il decoder SONIC è stato integrato dopo la v0.6.1, l'ultima release taggata. Per eseguire il flusso di lavoro descritto qui bisogna installare LeRobot dal sorgente, e la documentazione del G1 è scritta per il branch main. Il team afferma che il prossimo umanoide supportato sarà Asimov, il robot open source di Menlo Research.

Perché è importante

Gli umanoidi sono il fronte su cui il settore dell'apprendimento robotico sta concentrando gli sforzi, e finora gli strumenti aperti si fermavano per lo più ai bracci. La parte difficile su un bipede non è il modello, ma tenerlo in piedi mentre il modello pensa. Dividere il lavoro tra una policy lenta e un controller veloce per il controllo del corpo intero, e pubblicare ogni pezzo della catena, dà a chiunque abbia un G1 un punto di partenza riproducibile. Significa anche che una policy a livello di compito si può addestrare da un centinaio di dimostrazioni, senza dover reimparare l'equilibrio da zero.

Punti chiave

  • LeRobot esegue una policy π0.5 sull'Unitree G1 facendole prevedere i token di movimento a 64 dimensioni di SONIC, che un decoder veloce a bordo del robot trasforma in riferimenti per i giunti con 29 gradi di libertà a 50 Hz
  • Il decoder SONIC è un porting ONNX in puro Python integrato in LeRobot il 17 agosto; è sul branch main ma non nella v0.6.1, l'ultima release
  • La policy di esempio per il trasporto della lattina è stata addestrata su circa 100 episodi di teleoperazione VR del corpo intero (all'incirca 71 minuti), e dataset e pesi sono pubblici
  • Sono state rilasciate modifiche stampabili per il G1: adattatori da polso per le pinze OpenArm, un supporto per la telecamera sulla testa e uno zaino per l'adattatore CAN-FD
  • Un adattatore per schivare le palle basato sulla profondità, addestrato in mjlab, ha schivato il 79,1% dei lanci in simulazione; gli autori precisano che non ha un tasso di successo misurato sull'hardware
  • Il G1 si può comandare anche tramite il controllo del corpo intero di GR00T o con Holosoma, con una simulazione MuJoCo, la cinematica inversa per le braccia e lo stato propriocettivo completo
  • Asimov, l'umanoide open source di Menlo Research, è indicato come il prossimo robot da supportare

Il lato open source

Tutto ciò che il post descrive è stato rilasciato: il decoder SONIC e l'integrazione del G1 in LeRobot sotto Apache-2.0, il dataset di teleoperazione, i pesi della policy con fine-tuning, le modifiche hardware stampabili e i progetti del guanto e dell'esoscheletro Homunculus. Ciò che non è aperto è il robot. L'Unitree G1 è un umanoide commerciale, quindi il flusso di lavoro è software aperto su hardware chiuso, e il post indica Asimov come l'umanoide aperto che supporterà in seguito.

Tecnologie correlate

  • LeRobot
  • Unitree G1
  • OpenPI
  • SONIC
  • GR00T-WholeBodyControl
  • OpenHLM
  • Holosoma
  • mjlab
  • OpenArm
  • MuJoCo

Progetti correlati

  • LeRobot
  • OpenPI
  • OpenArm
  • mjlab
  • NVIDIA Isaac GR00T
  • Holosoma
  • HOPEJr
  • Asimov v1

Link

  • Fonte: https://huggingface.co/blog/nepyope/bringing-humanoids-to-lerobot

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.