HALO
Apples Autonomie für den humanoiden Unitree G1, nur mit synthetischen Wohnungen trainiert
Lizenz
Apple-Lizenz für Beispielcode (freizügig, ohne Patentgewährung)
Apples eigene Lizenz für Beispielcode, keine von der OSI anerkannte. Sie erlaubt allen, den Code zu nutzen, zu ändern und weiterzugeben, als Quelltext oder in binärer Form, mit oder ohne Änderungen; eine unveränderte Kopie muss Apples Hinweis behalten. Sie gewährt keine Patentrechte, und Apples Name und Marken dürfen nicht zur Werbung für abgeleitete Arbeiten verwendet werden. Die Modelle, die HALO herunterlädt (Qwen, Kimodo und die Llama-3-Modelle, die Kimodo nutzt), und die Roboterbeschreibung des Unitree G1 behalten ihre eigenen Lizenzen; das Llama-3-Modell ist auf Hugging Face zugangsbeschränkt.
Überblick
HALO (Perceptive Humanoid Motion from Simulation) ist ein Autonomiesystem für humanoide Roboter aus Apples Forschungsgruppe für maschinelles Lernen, im November 2026 zusammen mit dem Paper veröffentlicht. Es steuert einen Unitree G1 anhand eines Kamerabilds und einer gesprochenen Anweisung: Er setzt sich auf Stühle und Sofas, geht zu Personen und benannten Objekten, schiebt sich seitlich durch halb offene Türen, duckt sich unter Tische, kriecht darunter durch und schiebt Kartons. Seine kameragesteuerten Fähigkeiten hat er aus synthetischen Daten gelernt, die in 1.000 prozedural erzeugten Wohnungen gerendert wurden, und das Paper berichtet eine Erfolgsquote von 91 % über 360 Versuche in sechs realen Umgebungen, die der Roboter nie gesehen hatte. Das Repository enthält die Datenpipeline, den Trainingscode für beide gelernten Modelle und das Deployment für MuJoCo und den realen Roboter. Trainierte Gewichte und ein Datensatz sind nicht enthalten.
HALO läuft in drei Schichten auf dem Roboter. Ein Orchestrator, ein handelsübliches Vision-Language-Modell, macht aus der Anweisung des Bedieners und dem Kamerabild etwa alle zwei Sekunden Teilaufgaben. Ein Bewegungsgenerator plant etwa dreimal pro Sekunde fünf Sekunden Ganzkörper-Bewegung, 150 Frames mit je 36 Werten, aus dem RGB-Bild und der aktuellen Teilaufgabe; er kombiniert einen eingefrorenen Qwen3.5-2B als Bild-Encoder mit einem Diffusion-Transformer-Decoder, der mit Flow Matching trainiert ist, und übernimmt von jedem Plan nur die erste halbe Sekunde. Ein Tracker folgt diesem Plan mit 50 Hz anhand einer Tiefenkamera und der eigenen Gelenk- und IMU-Messwerte des Roboters und gibt Sollwerte für die 29 Gelenke des G1 aus. Auf Apples Roboter laufen Generator und Orchestrator auf einem Mac mini in einem Gehäuse am Rücken, der Tracker auf dem Jetson Orin NX des G1.
Die eigentliche Arbeit steckt in der Datenpipeline. NVIDIAs Kimodo erzeugt G1-Bewegungen aus Textanweisungen, Wegpunkten und Endposen, und 33 geometrische Prüfungen behalten den besten von mehreren Kandidaten. Infinigen baut die Wohnungen, jede Bewegung wird dort platziert, wo sie mit nichts kollidiert, und Isaac Lab rendert, was eine Fisheye-Kopfkamera sehen würde, mit acht Arten visueller Domain Randomization wie Bewegungsunschärfe, schwachem Licht und Farbstichen.
Der Tracker wird in Isaac Lab in drei Phasen trainiert: PPO-Experten, die den vollständigen Simulatorzustand sehen, Destillation in einen einzigen Schüler, der nur die Sensoren an Bord sieht, und danach PPO-Feinabstimmung mit einem Critic pro Experte. Er wird nach ONNX exportiert und in Python für Sim-to-Sim-Tests in MuJoCo sowie in Echtzeit-C++ mit TensorRT auf dem Roboter eingesetzt. Die Systemstarter betreiben die gesamte Schleife in MuJoCo oder auf dem G1. Apples Projektseite zeigt das Demovideo, eine Galerie realer Versuche und einen aufgezeichneten Lauf, den man in 3D abspielen kann; die Methode steht im Paper.
Warum es wichtig ist
Die meisten Daten für Fähigkeiten humanoider Roboter werden von Menschen gesammelt, per Teleoperation oder Motion Capture, mit etwa einer Stunde menschlicher Arbeit pro Stunde Daten. HALO zeigt einen anderen Weg: ein Korpus, der vollständig in der Simulation entsteht, mit Rechenleistung statt mit Arbeitskraft wächst und einen G1 ohne Nachtraining durch echte Wohnungen bringt. Außerdem ist es eine vollständige, nachvollziehbare Pipeline und nicht nur eine einzelne Policy. Datenerzeugung, Generator-Training, Tracker-Training und Deployment auf dem realen Roboter liegen in einem Repository, sodass ein Labor mit einem G1 jede Stufe untersuchen oder neu aufbauen kann. Offene Projekte zur Steuerung humanoider Roboter wie ASAP, Holosoma und GEAR-SONIC konzentrieren sich vor allem darauf, Bewegungen nachzuführen oder auszuführen. HALO verbindet einen Tracker mit der kameragesteuerten Schicht, die entscheidet, welche Bewegung in einem nie gesehenen Raum nötig ist.
Welches Problem es löst
Ein humanoider Roboter, der in einer gewöhnlichen Wohnung arbeiten soll, muss aus Pixeln und einer gesprochenen Anweisung Gelenkbefehle machen, und um diese Zuordnung zu lernen, braucht man gepaarte Bild-, Sprach- und Bewegungsdaten, die es in großem Umfang nicht gibt. Sie per Teleoperation zu sammeln ist langsam und teuer. HALO erzeugt diese gepaarten Daten synthetisch in prozedural gebauten Wohnungen und trainiert damit einen Planer und einen Tracker, die ohne Nachtraining auf echte Räume übertragbar sind.
Wichtigste Punkte
- Drei Schichten an Bord: ein VLM-Orchestrator, ein Bewegungsgenerator mit etwa 3 Hz und ein tiefenbasierter Tracker mit 50 Hz
- Die kameragesteuerten Fähigkeiten werden mit synthetischen Daten aus 1.000 prozedural erzeugten Wohnungen trainiert, ohne echte Wohnungen im Training
- 91 % Erfolg über 360 Versuche in sechs realen Umgebungen, die im Training nicht vorkamen, laut Paper
- Enthält die Datenpipeline, das Training beider Modelle sowie Deployment in MuJoCo und auf dem realen Unitree G1
- Keine trainierten Gewichte und kein Datensatz: Daten erzeugen und beide Modelle trainieren muss man selbst
Für wen
- Labore mit einem Unitree G1, die an wahrnehmungsgestützter Fortbewegung und Ganzkörperfähigkeiten arbeiten
- Forschende, die synthetische Daten und die Übertragung aus der Simulation auf reale Roboter ohne Nachtraining untersuchen
- Teams, die Bewegungs-Tracker für humanoide Roboter bauen und ein erprobtes Trainingsrezept in drei Stufen für Isaac Lab suchen
- Entwicklerinnen und Entwickler, die ein durchgearbeitetes Beispiel für Echtzeit-Deployment humanoider Roboter mit TensorRT auf Jetson suchen
Einschränkungen
- Es gibt keine trainierten Gewichte für Generator oder Tracker und keinen Datensatz; nichts läuft, bevor man beide Modelle trainiert hat
- Der Maßstab des Papers ist für die meisten unerreichbar: Der Korpus wurde auf 250 H100-GPUs erzeugt und der Generator auf 64 B200-GPUs trainiert
- Die Datenpipeline erzeugt Trainingsdaten nur für die Aufgabe, sich auf einen Stuhl zu setzen; die übrigen Aufgaben brauchen Daten, die nicht im Repository liegen
- Der Orchestrator für mehrere Aufgaben läuft auf MLX und braucht einen Mac mit Apple Silicon und mindestens 32 GB Arbeitsspeicher
- Für einen einzigen Roboter gebaut, den Unitree G1 mit 29 Gelenken, mit einem systemidentifizierten Modell von Apples eigenem Exemplar
- Unter Apples eigener freizügiger Lizenz statt unter einer gängigen Open-Source-Lizenz veröffentlicht, ohne Patentgewährung