Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

HALO

Autonomía de Apple para el humanoide Unitree G1, entrenada solo con hogares sintéticos

Licencia

Licencia de código de ejemplo de Apple (permisiva, sin concesión de patentes)

Es la licencia propia de Apple para código de ejemplo, no una aprobada por la OSI. Permite a cualquiera usar, modificar y redistribuir el código, en fuente o en binario, con o sin cambios; una copia sin modificar debe conservar el aviso de Apple. No concede derechos de patente, y el nombre y las marcas de Apple no pueden usarse para promocionar obras derivadas. Los modelos que descarga HALO (Qwen, Kimodo y los modelos Llama 3 que usa Kimodo) y la descripción del robot Unitree G1 mantienen sus propias licencias, y el modelo Llama 3 tiene acceso restringido en Hugging Face.

Resumen

HALO (Perceptive Humanoid Motion from Simulation) es un sistema de autonomía para robots humanoides del grupo de investigación en aprendizaje automático de Apple, publicado junto con su artículo en noviembre de 2026. Controla un Unitree G1 a partir de una imagen de cámara y una petición hablada: se sienta en sillas y sofás, camina hacia personas y objetos nombrados, pasa de lado por puertas entreabiertas, se agacha y gatea bajo mesas y empuja cajas. Sus habilidades guiadas por cámara se aprendieron con datos sintéticos renderizados en 1.000 hogares generados por procedimientos, y el artículo informa de una tasa de éxito del 91 % en 360 pruebas en seis entornos reales que el robot nunca había visto. El repositorio contiene la canalización de datos, el código de entrenamiento de los dos modelos aprendidos y el despliegue para MuJoCo y el robot real. No incluye pesos entrenados ni conjunto de datos.

HALO funciona en el robot en tres capas. Un orquestador, un modelo de visión y lenguaje disponible comercialmente, convierte la petición del operador y la imagen de la cámara en subtareas cada dos segundos aproximadamente. Un generador de movimiento planifica cinco segundos de movimiento de cuerpo completo, 150 fotogramas de 36 valores, unas tres veces por segundo a partir de la imagen RGB y la subtarea actual; combina un codificador visual Qwen3.5-2B congelado con un decodificador de transformador de difusión entrenado por flow matching, y solo ejecuta el primer medio segundo de cada plan. Un tracker sigue ese plan a 50 Hz con una cámara de profundidad y las lecturas de articulaciones e IMU del propio robot, y emite consignas para las 29 articulaciones del G1. En el robot de Apple, el generador y el orquestador se ejecutan en un Mac mini alojado en una carcasa trasera, y el tracker en el Jetson Orin NX del propio G1.

El trabajo de fondo está en la canalización de datos. Kimodo, de NVIDIA, genera movimiento para el G1 a partir de textos, puntos de paso y poses finales, y 33 comprobaciones geométricas conservan el mejor de varios candidatos. Infinigen construye los hogares, cada movimiento se coloca donde no choca con nada, e Isaac Lab renderiza lo que vería una cámara ojo de pez en la cabeza, con ocho tipos de aleatorización de dominio visual, como desenfoque de movimiento, poca luz y tintes de color.

El tracker se entrena en Isaac Lab en tres fases: expertos PPO que ven el estado completo del simulador, destilación en un único alumno que solo ve los sensores de a bordo y, por último, ajuste fino con PPO y un crítico por experto. Se exporta a ONNX y se despliega en Python para pruebas sim-to-sim en MuJoCo y en C++ en tiempo real con TensorRT en el robot. Los lanzadores del sistema ejecutan el bucle completo en MuJoCo o en el G1. La página del proyecto de Apple tiene el vídeo de demostración, una galería de pruebas reales y una ejecución grabada que se puede reproducir en 3D, y el método está en el artículo.

Por qué importa

La mayoría de los datos de habilidades para humanoides los recogen personas, por teleoperación o captura de movimiento, a razón de una hora de trabajo humano por cada hora de datos. HALO muestra otro camino: un corpus generado por completo en simulación, que crece con capacidad de cómputo y no con mano de obra, y que lleva a un G1 por hogares reales sin ajuste adicional. Además es una canalización completa y legible, no una sola política. La generación de datos, el entrenamiento del generador, el del tracker y el despliegue en el robot real están en un mismo repositorio, así que un laboratorio con un G1 puede estudiar o reconstruir cada etapa. Proyectos abiertos de control de humanoides como ASAP, Holosoma y GEAR-SONIC se centran sobre todo en aprender a seguir o ejecutar movimientos. HALO une un tracker con la capa guiada por cámara que decide qué movimiento hacer en una habitación que nunca ha visto.

Qué problema resuelve

Un humanoide que trabaje en un hogar corriente tiene que convertir píxeles y una petición hablada en órdenes para sus articulaciones, y aprender esa correspondencia exige datos emparejados de visión, lenguaje y movimiento que no existen a gran escala. Recogerlos por teleoperación es lento y caro. HALO genera esos datos emparejados de forma sintética en hogares construidos por procedimientos y entrena con ellos un planificador y un tracker que se transfieren a habitaciones reales sin ajuste adicional.

Puntos clave

  • Tres capas a bordo: un orquestador VLM, un generador de movimiento a unos 3 Hz y un tracker basado en profundidad a 50 Hz
  • Sus habilidades guiadas por cámara se entrenan con datos sintéticos de 1.000 hogares generados por procedimientos, sin hogares reales en el entrenamiento
  • 91 % de éxito en 360 pruebas en seis entornos reales no vistos en el entrenamiento, según el artículo
  • Incluye la canalización de datos, el entrenamiento de ambos modelos y el despliegue en MuJoCo y en el Unitree G1 real
  • No incluye pesos entrenados ni conjunto de datos: hay que generar los datos y entrenar ambos modelos uno mismo

Para quién es

  • Laboratorios con un Unitree G1 que trabajan en locomoción con percepción y habilidades de cuerpo completo
  • Investigadores que estudian datos sintéticos y la transferencia sin ajuste de la simulación a robots reales
  • Equipos que desarrollan trackers de movimiento para humanoides y buscan una receta de entrenamiento probada en tres etapas en Isaac Lab
  • Ingenieros que buscan un ejemplo práctico de despliegue en tiempo real de un humanoide con TensorRT en Jetson

Limitaciones

  • No se publican pesos entrenados del generador ni del tracker ni un conjunto de datos, así que nada funciona hasta entrenar ambos modelos
  • La escala del artículo está fuera del alcance de la mayoría: el corpus se generó en 250 GPU H100 y el generador se entrenó en 64 GPU B200
  • La canalización de datos solo produce datos de entrenamiento para la tarea de sentarse en una silla; las demás tareas necesitan datos que no están en el repositorio
  • El orquestador multitarea funciona con MLX y necesita un Mac con Apple silicon y al menos 32 GB de memoria
  • Hecho para un solo robot, el Unitree G1 de 29 articulaciones, con un modelo identificado del ejemplar de Apple
  • Publicado con una licencia permisiva propia de Apple en lugar de una licencia de código abierto estándar, sin concesión de patentes

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.