Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

HALO

L'autonomie d'Apple pour l'humanoïde Unitree G1, entraînée sur des logements synthétiques

Licence

Licence de code d'exemple d'Apple (permissive, sans concession de brevets)

Licence propre à Apple pour son code d'exemple, non approuvée par l'OSI. Elle permet à chacun d'utiliser, de modifier et de redistribuer le code, sous forme source ou binaire, avec ou sans modifications ; une copie non modifiée doit conserver l'avis d'Apple. Elle n'accorde aucun droit de brevet, et le nom et les marques d'Apple ne peuvent pas servir à promouvoir des travaux dérivés. Les modèles que HALO télécharge (Qwen, Kimodo et les modèles Llama 3 qu'utilise Kimodo) et la description du robot Unitree G1 gardent leurs propres licences, et l'accès au modèle Llama 3 est restreint sur Hugging Face.

Aperçu

HALO (Perceptive Humanoid Motion from Simulation) est un système d'autonomie pour robots humanoïdes conçu par le groupe de recherche en apprentissage automatique d'Apple et publié avec son article en novembre 2026. Il pilote un Unitree G1 à partir d'une image de caméra et d'une demande orale : il s'assoit sur des chaises et des canapés, marche vers des personnes et des objets nommés, passe de côté par des portes entrouvertes, s'accroupit et rampe sous des tables, et pousse des cartons. Ses compétences guidées par la caméra ont été apprises à partir de données synthétiques rendues dans 1 000 logements générés de façon procédurale, et l'article fait état de 91 % de réussite sur 360 essais dans six environnements réels que le robot n'avait jamais vus. Le dépôt contient le pipeline de données, le code d'entraînement des deux modèles appris et le déploiement pour MuJoCo et le robot réel. Il ne fournit ni poids entraînés ni jeu de données.

HALO fonctionne sur le robot en trois couches. Un orchestrateur, un modèle vision-langage du commerce, transforme la demande de l'opérateur et l'image de la caméra en sous-tâches environ toutes les deux secondes. Un générateur de mouvement planifie cinq secondes de mouvement du corps entier, 150 images de 36 valeurs, environ trois fois par seconde à partir de l'image RVB et de la sous-tâche en cours ; il associe un encodeur visuel Qwen3.5-2B figé à un décodeur transformer de diffusion entraîné par flow matching, et n'exécute que la première demi-seconde de chaque plan. Un tracker suit ce plan à 50 Hz grâce à une caméra de profondeur et aux mesures articulaires et inertielles du robot, et produit des consignes pour les 29 articulations du G1. Sur le robot d'Apple, le générateur et l'orchestrateur tournent sur un Mac mini logé dans un boîtier dorsal, et le tracker sur le Jetson Orin NX du G1.

L'essentiel du travail se trouve dans le pipeline de données. Kimodo, de NVIDIA, génère des mouvements du G1 à partir de textes, de points de passage et de poses finales, et 33 contrôles géométriques retiennent le meilleur de plusieurs candidats. Infinigen construit les logements, chaque mouvement est placé là où il ne heurte rien, et Isaac Lab rend ce que verrait une caméra fisheye sur la tête, avec huit types de randomisation de domaine visuelle comme le flou de bougé, la faible luminosité et les dominantes de couleur.

Le tracker s'entraîne dans Isaac Lab en trois phases : des experts PPO qui voient l'état complet du simulateur, une distillation vers un seul élève qui ne voit que les capteurs embarqués, puis un affinage PPO avec un critique par expert. Il est exporté en ONNX et déployé en Python pour des tests sim-to-sim dans MuJoCo et en C++ temps réel avec TensorRT sur le robot. Les lanceurs du système font tourner toute la boucle dans MuJoCo ou sur le G1. La page du projet d'Apple propose la vidéo de démonstration, une galerie d'essais réels et une exécution enregistrée à rejouer en 3D, et la méthode est décrite dans l'article.

Pourquoi c'est important

La plupart des données de compétences pour humanoïdes sont recueillies par des personnes, par téléopération ou capture de mouvement, à raison d'environ une heure de travail humain par heure de données. HALO montre une autre voie : un corpus généré entièrement en simulation, qui croît avec la puissance de calcul plutôt qu'avec la main-d'œuvre, et qui fait traverser des logements réels à un G1 sans réentraînement. C'est aussi un pipeline complet et lisible, pas une simple politique. Génération des données, entraînement du générateur, entraînement du tracker et déploiement sur le robot réel se trouvent dans un même dépôt, si bien qu'un laboratoire équipé d'un G1 peut étudier ou reconstruire chaque étape. Les projets ouverts de contrôle d'humanoïdes comme ASAP, Holosoma et GEAR-SONIC se concentrent surtout sur le suivi ou l'exécution de mouvements. HALO associe un tracker à la couche guidée par la caméra qui décide quel mouvement faire dans une pièce jamais vue.

Le problème résolu

Un humanoïde qui travaille dans un logement ordinaire doit transformer des pixels et une demande orale en commandes articulaires, et apprendre cette correspondance exige des données appariées de vision, de langage et de mouvement qui n'existent pas à grande échelle. Les recueillir par téléopération est lent et coûteux. HALO génère ces données appariées de façon synthétique dans des logements construits de manière procédurale, puis entraîne avec elles un planificateur et un tracker qui se transfèrent à des pièces réelles sans réentraînement.

Points clés

  • Trois couches embarquées : un orchestrateur VLM, un générateur de mouvement à environ 3 Hz et un tracker fondé sur la profondeur à 50 Hz
  • Ses compétences guidées par la caméra sont entraînées sur des données synthétiques issues de 1 000 logements procéduraux, sans logement réel à l'entraînement
  • 91 % de réussite sur 360 essais dans six environnements réels absents de l'entraînement, selon l'article
  • Comprend le pipeline de données, l'entraînement des deux modèles et le déploiement dans MuJoCo et sur le Unitree G1 réel
  • Ni poids entraînés ni jeu de données : il faut générer les données et entraîner les deux modèles soi-même

Pour qui

  • Laboratoires équipés d'un Unitree G1 qui travaillent sur la locomotion avec perception et les compétences du corps entier
  • Chercheurs qui étudient les données synthétiques et le transfert sans réentraînement de la simulation vers des robots réels
  • Équipes qui conçoivent des trackers de mouvement pour humanoïdes et cherchent une recette d'entraînement éprouvée en trois étapes dans Isaac Lab
  • Ingénieurs à la recherche d'un exemple concret de déploiement temps réel d'un humanoïde avec TensorRT sur Jetson

Limites

  • Aucun poids entraîné du générateur ou du tracker ni aucun jeu de données n'est publié : rien ne fonctionne avant d'avoir entraîné les deux modèles
  • L'échelle de l'article est hors de portée pour la plupart : le corpus a été généré sur 250 GPU H100 et le générateur entraîné sur 64 GPU B200
  • Le pipeline de données ne produit des données d'entraînement que pour la tâche « s'asseoir sur une chaise » ; les autres tâches demandent des données absentes du dépôt
  • L'orchestrateur multitâche tourne sous MLX et exige un Mac Apple silicon avec au moins 32 Go de mémoire
  • Conçu pour un seul robot, le Unitree G1 à 29 articulations, avec un modèle identifié de l'exemplaire d'Apple
  • Publié sous une licence permissive propre à Apple plutôt que sous une licence open source standard, sans concession de brevets

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.