GRAIL: Generating Humanoid Loco-Manipulation from World Models

Autoren: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026

Warum es wichtig ist

Humanoide Roboter brauchen Demonstrationen, in denen der ganze Körper geht, kniet, sitzt und mit Objekten hantiert, und heute stammen diese aus der Teleoperation des Roboters oder aus Motion Capture, die beide für jedes neue Objekt und jede neue Treppe eine physische Szene und Menschen brauchen. GRAIL ersetzt das durch eine Pipeline, die bis zum Einsatz auf dem Computer bleibt: Ein 3D-Objekt und eine Szene gehen hinein, robotertaugliche Trajektorien kommen heraus, mit etwa 14 Minuten Generierung pro Sequenz auf einer GPU. Die Autoren zeigen, dass diese Daten allein genügen: Visuelle Policies, die nur damit trainiert sind, heben an einem echten Unitree G1 Objekte auf und steigen Treppen. Code, Dokumentation, ein Datensatz mit mehr als 22.000 G1-Bewegungen und Tracking-Checkpoints sind öffentlich, was GRAIL zu einer funktionierenden Referenz für alle macht, die synthetische Daten für Humanoide erzeugen. Der Code steht unter der NVIDIA License und der Datensatz unter CC BY-NC 4.0, beide dürfen also nur für Forschung oder Evaluierung genutzt werden, nicht in einem kommerziellen Produkt.

Problem

Policies für humanoide Loko-Manipulation brauchen Demonstrationen, die viele Objekte, Ganzkörperbewegungen und Geländeformen abdecken, und jede muss physikalisch plausibel und vom Roboter ausführbar sein. Teleoperation und Motion Capture liefern gute Demonstrationen, skalieren aber schlecht: Jedes neue Objekt und jede neue Geländeanordnung braucht Bediener, instrumentierte Darsteller und eine neu aufgebaute physische Szene. Roboter-Trajektorien aus gewöhnlichen Videos zu rekonstruieren bringt Breite, doch Kamera, Maßstab, Objektform, Körperform, Kontakte und Bewegung im Weltkoordinatensystem müssen alle aus einer einzigen Ansicht erraten werden. Frühere Pipelines, die generierte Videos als Quelle für Mensch-Objekt-Interaktionen nutzen, lassen dieselben Größen erst nach der Generierung erschließen, sodass ihr Ergebnis oft nichts ist, dem ein Roboter folgen kann.

Lösungsansatz

GRAIL legt die Szene fest, bevor es etwas generiert. Ein Objekt-Asset wird in einem Infinigen-Raum neben eine menschliche Figur gestellt, deren Proportionen an den Unitree G1 angepasst sind, mit Physik in eine stabile Lage gebracht und in Blender mit bekannten Kameraparametern gerendert. GPT-4o schreibt aus diesem Bild einen Interaktions-Prompt, und das Bild-zu-Video-Modell von Kling, als Weltmodell eingesetzt, erzeugt ein Video mit statischer Kamera, in dem die Person mit dem Objekt hantiert. Weil Geometrie, Maßstab, Kamera, Szenentiefe und Körperform bekannt sind, ist die Rekonstruktion eingeschränkt: GENMO schätzt die Körperpose bei fester Körperform, WiLoR verfeinert die Hände, ein feinabgestimmtes FoundationPose verfolgt das Objekt ab seiner bekannten ersten Pose, und eine gemeinsame Optimierung von Körper und Objekt mit Keypoint-, Projektions-, Tiefen- und Kontaktverlusten beseitigt schwebende Kontakte, Durchdringungen und Tiefendrift. Sequenzen, deren Objekt-Tracking nicht mit SAM2-Masken übereinstimmt, werden verworfen. GMR überträgt die Bewegung auf den G1, und zwei aufgabenübergreifende Tracker auf Basis der Ganzkörper-Steuerung SONIC setzen die Referenzen in Isaac Lab in Roboteraktionen um: ein objektbewusster Adapter, der die latenten Tokens von SONIC anpasst und die Hände öffnet und schließt, und ein szenenbewusster Tracker, der SONIC zusammen mit einem Netz feinabstimmt, das eine Höhenkarte des Bodens um den Roboter liest, für Bordsteine, Rampen, Treppen und Stühle. Für den echten Roboter werden diese Tracker in egozentrische RGB-Policies destilliert, die mit Domain Randomization trainiert werden.

Wichtigste Erkenntnisse

Die Szene zu kennen, bevor das Video generiert wird, macht die Rekonstruktion erst brauchbar: Objektgeometrie, Kamera, metrischer Maßstab, Szenentiefe und ein roboterproportionierter Körper werden zu Eingaben statt zu Unbekannten
Menschliche Videos sind das Bessere zum Generieren: Aktuelle Videomodelle haben stärkere Priors für menschliche Manipulation als für Roboter, und Werkzeuge zur Rekonstruktion menschlicher Körper und Hände sind ausgereifter
Eine Figur, die vorab an die Proportionen des Roboters angepasst ist, verringert die Abweichung bei der Übertragung der Bewegung auf den G1, sodass Kontakte zwischen Hand und Objekt und zwischen Körper und Szene die Übertragung überstehen
Jeder Rekonstruktionsverlust zählt für den Roboter, nicht nur für das Bild: Ohne den Projektions-, Tiefen- oder Kontaktterm sinkt der Tracking-Erfolg danach von 81,4 % auf Werte zwischen 41,6 % und 53,3 %
Genaues Körper-Tracking allein reicht für Manipulation nicht: Das reine SONIC verfolgt den Körper am besten, hat aber den geringsten Erfolg, und erst der objektbewusste latente Adapter bringt den Umgang mit dem Objekt
Ein Tracker pro Aufgabenfamilie über 2.000 bis 4.000 Bewegungen senkt die Kosten auf etwa 0,5 bis 0,9 Minuten Training pro Bewegung, und neue Bewegungen lassen sich per Feinabstimmung ab dem bestehenden Stand hinzufügen

Hauptergebnisse

Auf 20 gemeinsamen Objekten werden die von GRAIL generierten Interaktionen in der Physiksimulation mit 88,9 % Erfolg verfolgt, gegenüber 24,0 % für DAViD, 15,8 % für HOIDiff und 10,5 % für CHOIS, mit dem geringsten Kontaktabstand (0,008) und der geringsten Durchdringung (0,90 %)
In einer Nutzerstudie mit 30 Teilnehmenden wurde GRAIL in 74,7 % der Fälle für die passendste Objektnutzung und in 70,9 % der Fälle für die physikalisch plausibelste Bewegung gewählt, bei einer Obergrenze von 75 %
Auf einem Benchmark mit 124 Bewegungen über 43 Objekte erreicht der aufgabenübergreifende Tracker 81,4 % Manipulationserfolg, gegenüber 48,5 % für HDMI und 49,2 % für ResMimic; ohne SONIC fällt er auf 45,0 %
Die Pipeline erzeugte über 20.000 Sequenzen aus 1.000 Objekt-Assets und 1.000 prozeduralen Geländen, mit etwa 14 Minuten pro Sequenz von 5 Sekunden auf einer NVIDIA A100
An einem echten Unitree G1 gelingt eine egozentrische RGB-Policy zum Aufheben, die nur mit GRAIL-Daten trainiert ist, in 84 % der Fälle bei fünf bekannten Objekten und in 80 % bei fünf unbekannten, mit je 10 Versuchen
Eine Policy zum Treppensteigen, die nur mit GRAIL-Geländesequenzen trainiert ist, erreicht 90 % Erfolg in der realen Welt

Einschränkungen

Der Code steht unter der NVIDIA License, die nur Nutzung für Forschung oder Evaluierung erlaubt (ausgenommen NVIDIA selbst); der veröffentlichte Datensatz steht unter CC BY-NC 4.0, und einige mitgelieferte Gewichte und Assets behalten eigene Lizenzen Dritter, sodass nichts davon in ein kommerzielles Produkt einfließen darf
Standardmäßig ruft die Videogenerierung die kostenpflichtige Kling-API auf, und die Prompts kommen aus der OpenAI-API (GPT-4o), sodass das Erzeugen neuer Daten Schlüssel für externe Dienste braucht; eine lokale Option mit MiniMax-H3 kam im August 2026 hinzu
Die Pipeline braucht für jedes Objekt ein 3D-Asset und eine simulatorfertige Szene, und das Videomodell muss der gewünschten Interaktion folgen; die Rekonstruktion verschlechtert sich bei starker Verdeckung, schneller Bewegung oder einem Objekt, dessen Aussehen sich zwischen Bildern ändert, und die Filterung verwirft einen nicht unerheblichen Anteil der Sequenzen
Das Training ist aufwendig: Jede Tracking-Policy lief 30.000 PPO-Iterationen auf 64 NVIDIA L40 GPUs, etwa 30 Stunden, und eine neue Bewegungsfamilie braucht weiterhin Training oder Feinabstimmung
Die Ergebnisse am echten Roboter umfassen zwei Aufgaben auf einem Roboter, Aufheben vom Tisch und Treppensteigen, mit 10 Versuchen pro Objekt; Ganzkörper-Manipulation und Sitzen werden nur in der Simulation gezeigt, und die Hände nutzen einen binären Griff, offen oder geschlossen
Der veröffentlichte Datensatz umfasst Aufheben, Sitzen und Gelände; die Daten zur Ganzkörper-Manipulation stehen noch auf der To-do-Liste, und das Skript für die Schnellstart-Demo ist noch nicht veröffentlicht
Alle Ergebnisse stammen von den Autoren selbst; zum Zeitpunkt des Schreibens ist keine unabhängige Reproduktion veröffentlicht

Wirkung auf das Fachgebiet

Videogenerierungsmodelle wurden in der Robotik bisher vor allem genutzt, um Ergebnisse vorherzusagen oder visuelles Vortraining zu liefern. GRAIL nutzt sie als Quelle physischer Demonstrationen für einen Humanoiden und zeigt, dass es darauf ankommt, zuerst die 3D-Szene festzulegen und darin zu rekonstruieren, statt 3D-Bewegung aus einem unkontrollierten Video herauszulesen. Mit Aufheben und Treppensteigen am echten Roboter, trainiert mit nichts anderem, stützt es die These, dass synthetische Daten aus Weltmodellen neben Teleoperation und Motion Capture ein Weg sein können, Datensätze für Humanoide zu skalieren, und sein veröffentlichter Datensatz gibt anderen Gruppen eine große Menge an G1-Referenzen für Gelände und Aufheben, an denen sie Tracker trainieren können.

Zusammenfassung

Die Skalierung humanoider Loko-Manipulation erfordert robotertaugliche Demonstrationen über vielfältige Objekte, Ganzkörperbewegungen und Szenengeometrien hinweg, doch Teleoperation und Motion Capture lassen sich schwer skalieren, weil jede Aufnahme von physischen Aufbauten, instrumentierten Darstellern und dem Bedienen des Roboters abhängt. Wir stellen GRAIL vor, eine digitale Generierungspipeline, die bis zum Einsatz vollständig virtuell bleibt: Sie verankert Video-Weltmodelle in 3D-Assets und simulatorfertigen Szenen, um Interaktionen zu synthetisieren, ohne physische Umgebungen neu aufzubauen oder den Roboter zu teleoperieren. Statt unkontrollierte Videos aus freier Wildbahn zu rekonstruieren, geht GRAIL von vollständig spezifizierten 3D-Konfigurationen aus, in denen Objektgeometrie, Kameraparameter, metrischer Maßstab, Umgebungstiefe und eine roboterproportionierte Figur vor der Videogenerierung bekannt sind und bei der Rekonstruktion wiederverwendet werden. Dieser privilegierte Aufbau konditioniert die 4D-Wiederherstellung besser und ermöglicht modellbasiertes Objekt-Tracking, Schätzung menschlicher Bewegung und interaktionsbewusste Optimierung, um metrische 4D-Trajektorien der Mensch-Objekt-Interaktion (HOI) mit geringerer Tiefenmehrdeutigkeit und geringerer Morphologie-Abweichung zu rekonstruieren. Wir übertragen die wiederhergestellten Bewegungen auf einen humanoiden Roboter und trainieren komplementäre aufgabenübergreifende Tracker: einen objektbewussten latenten Adapter für Manipulation und einen szenenbewussten Tracker für die Fortbewegung über Gelände. GRAIL erzeugt über 20.000 Sequenzen, die Aufheben, Ganzkörper-Manipulation, Sitzen und Geländebewältigung umfassen. Allein mit von GRAIL erzeugten Daten trainieren wir egozentrische visuelle Policies über eine Sim-to-Real-Pipeline und setzen sie auf einem humanoiden Unitree G1 ein, mit 84 % Erfolg in der realen Welt beim Aufheben vielfältiger Objekte und 90 % Erfolg beim Treppensteigen.

Open Source Robotics