Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

Autoren: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Erzeugte Bilder einer Person, die jede Teilaufgabe ausführt, liefern Hand-/Fußkontakte und retargetierte Roboterposen, die die Ganzkörper-Trajektorienoptimierung durch Humanoid-Aufgaben mit langem Horizont leiten.

Warum es wichtig ist

Die Pipeline benötigt weder aufgabenspezifische Heuristiken noch 3D-Datensätze von Mensch-Objekt-Interaktionen: Ein übergeordneter Textplan und Bilder der Objekte sind ihre Eingaben. Ohne die extrahierten Kontakt- und Konfigurationsinformationen konnte die Trajektorienoptimierung laut den Autoren keine der beiden Testaufgaben lösen; die erzeugten Bilder liefern also das Schlussfolgern über lange Horizonte, das der lokalen Optimierung fehlt.

Problem

Humanoide sind hochdimensionale Systeme mit instabiler Dynamik, und nützliche Loco-Manipulation-Aufgaben erfordern Schlussfolgern über lange Horizonte, auf das bestehende Planungsmethoden nicht skalieren. Trajektorienoptimierung ist lokal und scheitert an solchen Aufgaben ohne Anleitung, während teleoperierte Humanoid-Demonstrationen schwer zu sammeln sind, weil der Roboter leicht stürzen kann.

Lösungsansatz

Aus einer geordneten Liste kurzer Text-Prompts und RGB-D-Bildern der Objekte erzeugt ein latentes Diffusionsmodell (Flux) Bilder einer Person in voller Größe, die jede Teilaufgabe ausführt. Hand- und Fußkontakte werden in die 3D-Szene übertragen, indem semantische Korrespondenzen mit einer samplingbasierten SVD- und ICP-Suche kombiniert werden, die die Punktwolkenüberlappung prüft, und die Pose der Person (aus WHAM) wird per inverser Kinematik auf eine 35-D-Roboterkonfiguration retargetiert. Diese Keyframes gehen in eine Ganzkörper-Trajektorienoptimierung mit Zentroidaldynamik ein, sowohl als Kostenterme als auch als teilaufgabenartiger Warmstart.

Wichtigste Erkenntnisse

Erzeugte 2D-Bilder von Menschen können sowohl Kontaktpositionen als auch Ganzkörperkonfigurationen liefern, und beide zusammen lenken die lokale Trajektorienoptimierung zu besseren lokalen Minima als Kontakte allein.
Semantische Korrespondenz allein ist unzuverlässig, weil sich erzeugte Objekte in Blickwinkel, Form und Textur von den realen unterscheiden; die Bewertung von Kandidaten-Matches anhand der Punktwolkenüberlappung (SVD, dann ICP) korrigiert falsche Kontakte.
Keyframes funktionieren am besten sowohl als Kostenterme als auch als teilaufgabenartiger Warmstart; Einstellungen mit Warmstart konvergieren tendenziell besser und durchdringen weniger.
Das Anhängen einer festen Beschreibung von Haaren und Kleidung an jeden Prompt bringt das Bildmodell dazu, eine Person in voller Größe zu zeichnen, was die Extraktion von Kontakten und Pose erfordert.

Hauptergebnisse

Mit einem minimalen Satz an Kollisionsstrafen bleibt die vollständige Pipeline in beiden Szenarien über die gesamte Trajektorie kollisionsfrei (S1: einen Korb aus einem Regal holen, indem eine Kiste verschoben und betreten wird; S2: eine Kiste auf einen Rollwagen heben und ihn schieben), während eine Baseline nur mit Kontakten durchgehend erheblich durchdringt (Fig. 5).
Ohne die extrahierten Kontakt- und Konfigurationsinformationen konnte die Trajektorienoptimierung keine der beiden Aufgaben lösen; aktiviert man stattdessen alle möglichen Kollisionsbeschränkungen, bleibt sie in lokalen Minima stecken.
Im S1-Test mit einer 5,0-kg-Kiste und 0 rad anfänglicher Gierung ergibt die Verwendung aller Keyframe-Komponenten keine Durchdringung; das Entfernen einer beliebigen Komponente verhindert entweder die Konvergenz oder führt zu starker Durchdringung.
Die Keyframe-Ablationen decken Kistenmassen von {2,5; 5,0} kg und anfängliche Gierwinkel von {0; 0,6; 1,2} rad für S1 sowie {2,5; 5,0; 7,5} kg und {0; ±0,6; ±1,2} rad für S2 ab.
Mit deaktivierten Kollisionsstrafen ergibt geometriebewusste Kontaktübertragung in beiden Szenarien deutlich weniger Durchdringung als geometrieunabhängige Übertragung.
Die Suche nach der starren Transformation läuft 10 Iterationen, und in der Praxis wird die beste Transformation innerhalb von 3 gefunden.

Einschränkungen

Nur in der Simulation validiert (MuJoCo mit einem Unitree-G1-Modell); die Autoren nennen den Betrieb auf einem realen Humanoiden als künftige Arbeit.
Setzt voraus, dass der übergeordnete Plan (geordnete Text-Prompts) gegeben ist, sowie bei Platzierungsaufgaben die 3D-Zielposition und die Gierung des Objekts; die Autoren planen, dies durch einen Aufgabenplaner mit multimodalen Sprachmodellen zu ersetzen.
In einigen Ablationsfällen ist die vollständige Keyframe-Einstellung etwas schlechter als Teileinstellungen, was die Autoren auf Details des Solvers der Trajektorienoptimierung zurückführen.
Die intrinsischen Kameraparameter für erzeugte Bilder werden durch Ausprobieren festgelegt (Bildauflösung als Brennweite), und eine Heuristik projiziert Kontakte auf die nächstgelegene Objektoberfläche, um Durchdringung zu vermeiden.
Die Ergebnisse werden als Durchdringungsdiagramme für zwei Szenarien angegeben; das Paper berichtet keine Erfolgsraten oder Planungszeiten.

Wirkung auf das Fachgebiet

Das Paper war Finalist für den Humanoids 2025 Best Oral Paper Award und hat 8 Zitierungen. Das Paper verlinkt keinen Code, keinen Datensatz und keine Projektseite; es verweist auf ein Zusatzvideo.

Zusammenfassung

Dieses Paper nutzt die Fähigkeiten latenter Diffusionsmodelle (LDMs), realistische RGB-Szenen von Mensch-Objekt-Interaktionen zu erzeugen, um die Planung der Loco-Manipulation von Humanoiden anzuleiten. Dazu extrahieren wir aus den erzeugten Bildern sowohl die Kontaktpositionen als auch die Roboterkonfigurationen, die dann in einer Formulierung der Ganzkörper-Trajektorienoptimierung (TO) verwendet werden, um physikalisch konsistente Trajektorien für Humanoide zu erzeugen. Wir validieren unsere vollständige Pipeline in der Simulation für verschiedene Loco-Manipulation-Szenarien mit langem Horizont und führen eine umfassende Analyse der vorgeschlagenen Pipeline zur Extraktion von Kontakten und Roboterkonfigurationen durch. Unsere Ergebnisse zeigen, dass wir mithilfe der aus LDMs extrahierten Informationen physikalisch konsistente Trajektorien erzeugen können, die Schlussfolgern über lange Horizonte erfordern.

Open Source Robotics