Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

HALO

Lo stack di autonomia umanoide di Apple per l'Unitree G1, addestrato solo su dati domestici sintetici

Licenza

Licenza per il codice di esempio di Apple (permissiva, senza concessione di brevetti)

La licenza per il codice di esempio propria di Apple, non una licenza approvata dall'OSI. Consente a chiunque di usare, modificare e ridistribuire il codice, in forma sorgente o binaria, con o senza modifiche; una copia non modificata deve mantenere l'avviso di Apple. Non concede alcun diritto di brevetto, e il nome e i marchi di Apple non possono essere usati per promuovere opere derivate. I modelli che HALO scarica (Qwen, Kimodo e i modelli Llama 3 usati da Kimodo) e la descrizione del robot Unitree G1 mantengono le proprie licenze, e il modello Llama 3 è ad accesso controllato su Hugging Face.

Panoramica

HALO (Perceptive Humanoid Motion from Simulation) è un sistema di autonomia per umanoidi del gruppo di ricerca sull'apprendimento automatico di Apple, rilasciato con il relativo articolo a novembre 2026. Comanda un Unitree G1 a partire da un'immagine della telecamera e da una richiesta vocale: si siede su sedie e divani, cammina verso persone e oggetti nominati, passa di lato attraverso porte semiaperte, si accovaccia e striscia sotto i tavoli e spinge scatole. Le sue abilità guidate dalla telecamera sono state apprese da dati sintetici renderizzati in 1.000 case generate proceduralmente, e l'articolo riporta un tasso di successo del 91% su 360 prove in sei ambienti reali che il robot non aveva mai visto. Il repository contiene la pipeline dei dati, il codice di addestramento per entrambi i modelli appresi e l'impiego per MuJoCo e per il robot reale. Non include pesi addestrati né dataset.

HALO gira sul robot su tre livelli. Un orchestratore, un modello Vision-Language (VLM) disponibile in commercio, trasforma la richiesta dell'operatore e l'immagine della telecamera in sottocompiti circa ogni due secondi. Un generatore di movimento pianifica cinque secondi di movimento del corpo intero, 150 fotogrammi da 36 valori, circa tre volte al secondo a partire dall'immagine RGB e dal sottocompito corrente; abbina un encoder visivo Qwen3.5-2B congelato a un decoder diffusion Transformer addestrato con flow matching, e applica solo il primo mezzo secondo di ogni piano. Un tracker segue quel piano a 50 Hz usando una telecamera di profondità e le letture dei giunti e dell'IMU del robot stesso, e produce i riferimenti per i 29 giunti del G1. Sul robot di Apple il generatore e l'orchestratore girano su un Mac mini trasportato in un alloggiamento posteriore, e il tracker sul Jetson Orin NX del G1 stesso.

La pipeline dei dati è dove sta il lavoro. Kimodo di NVIDIA genera il movimento del G1 da prompt testuali, waypoint e pose finali, e 33 controlli geometrici conservano il migliore tra diversi candidati. Infinigen costruisce le case, ogni movimento viene collocato dove non collide con nulla, e Isaac Lab renderizza ciò che vedrebbe una telecamera fisheye sulla testa, con otto tipi di domain randomization visiva come mosso, scarsa illuminazione e dominanti di colore.

Il tracker si addestra in Isaac Lab in tre fasi: esperti PPO che vedono lo stato completo del simulatore, distillazione in un unico studente che vede solo i sensori di bordo, poi fine-tuning PPO con un critico per ogni esperto. Si esporta in ONNX e si impiega in Python per i test sim-to-sim in MuJoCo e in C++ in tempo reale con TensorRT sul robot. I launcher di sistema eseguono l'intero ciclo in MuJoCo o sul G1. La pagina del progetto di Apple contiene il video dimostrativo, una galleria di prove reali e un'esecuzione registrata che si può riprodurre in 3D, e il metodo è descritto nell'articolo.

Perché è importante

La maggior parte dei dati sulle abilità degli umanoidi viene raccolta da persone, tramite teleoperazione o motion capture, a circa un'ora di tempo umano per ogni ora di dati. HALO mostra una strada diversa: un corpus generato interamente in simulazione, che cresce con la potenza di calcolo anziché con il lavoro umano, e che porta un G1 attraverso case reali in modalità zero-shot. È anche una pipeline completa e leggibile, non una singola policy. Generazione dei dati, addestramento del generatore, addestramento del tracker e impiego sul robot reale si trovano in un unico repository, così un laboratorio con un G1 può studiare o ricostruire ogni fase. I progetti aperti di controllo degli umanoidi come ASAP, Holosoma e GEAR-SONIC si concentrano soprattutto sull'imparare a seguire o eseguire un movimento. HALO abbina un tracker al livello guidato dalla telecamera che decide quale movimento compiere in una stanza mai vista prima.

Il problema che risolve

Un umanoide che lavora in una casa normale deve trasformare pixel e una richiesta vocale in comandi ai giunti, e imparare questa corrispondenza richiede dati abbinati di visione, linguaggio e movimento che non esistono su larga scala. Raccoglierli tramite teleoperazione è lento e costoso. HALO genera questi dati abbinati in modo sintetico in case costruite proceduralmente, poi addestra su di essi un pianificatore e un tracker che si trasferiscono in stanze reali senza fine-tuning.

Punti chiave

  • Tre livelli a bordo: un orchestratore VLM, un generatore di movimento a circa 3 Hz e un tracker basato sulla profondità a 50 Hz
  • Le sue abilità guidate dalla telecamera sono addestrate su dati sintetici di 1.000 case generate proceduralmente, senza case reali nell'addestramento
  • 91% di successo su 360 prove in sei ambienti reali non visti durante l'addestramento, secondo quanto riportato nell'articolo
  • Include la pipeline dei dati, l'addestramento di entrambi i modelli e l'impiego in MuJoCo e sul robot reale per l'Unitree G1
  • Non sono forniti pesi addestrati né dataset: i dati si generano e i due modelli si addestrano da sé

A chi si rivolge

  • Laboratori con un Unitree G1 che lavorano sulla locomozione percettiva e sulle abilità del corpo intero
  • Ricercatori che studiano i dati sintetici e il trasferimento zero-shot dalla simulazione ai robot reali
  • Team che costruiscono tracker di movimento per umanoidi e vogliono una ricetta di addestramento in tre fasi collaudata in Isaac Lab
  • Ingegneri che cercano un esempio concreto di impiego in tempo reale di un umanoide con TensorRT su Jetson

Limiti

  • Non sono pubblicati pesi addestrati del generatore o del tracker né dataset, quindi nulla funziona finché non si addestrano entrambi i modelli
  • La scala dell'articolo è fuori portata per la maggior parte: il corpus è stato generato su 250 GPU H100 e il generatore addestrato su 64 GPU B200
  • La pipeline dei dati produce dati di addestramento solo per il compito di sedersi su una sedia; gli altri compiti richiedono dati che non sono nel repository
  • L'orchestratore multi-task gira su MLX e richiede un Mac con Apple silicon e almeno 32 GB di memoria
  • Costruito per un solo robot, l'Unitree G1 a 29 giunti, con un modello ricavato dall'identificazione del sistema dell'unità di Apple
  • Rilasciato con una licenza permissiva propria di Apple anziché con una licenza open source standard, senza concessione di brevetti

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.