Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

Autoren: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

DWL trainiert in Isaac Gym eine Gehpolicy für Humanoide, die lernt, den vollständigen Roboterzustand aus verrauschter Propriozeption zu rekonstruieren, und läuft dann unverändert auf realen XBot-Robotern über Treppen, Hänge und Schnee.

Warum es wichtig ist

Dieselbe Policy, die nur Gelenkmesswerte, IMU-Daten, ein Taktsignal und Geschwindigkeitsbefehle nutzt, ohne Kamera oder LiDAR, ließ sich zero-shot auf zwei Humanoidengrößen übertragen und bewältigte Treppen, Hänge, unregelmäßige Blöcke, Schnee, Zusatzlasten und Stöße. Für Ingenieure von Laufrobotern ist sie ein konkretes Rezept, um Zustandsschätzung (Basisgeschwindigkeit, Fußkontakt, ein grobes Geländeprofil) aus demselben Netz zu gewinnen, das die Aktionen erzeugt. Sie liefert zudem einen direkten Vergleich, der zeigt, dass aktiv geregelte Sprunggelenke mit 2-DoF auf schwierigerem Gelände wichtig waren.

Problem

Humanoide haben einen hohen Schwerpunkt, schwere Beine, einen schweren Rumpf und schwere Arme sowie eine instabile Schwungphase der Beine, und die Autoren merken an, dass frühere reale RL-Regler für Humanoide auf relativ einfaches Gelände beschränkt waren. Eine in der Simulation trainierte Policy muss zudem mit verrauschten Sensoren, unvollkommener simulierter Dynamik und Größen wie Lineargeschwindigkeit und Kontaktkraft zurechtkommen, die der reale Roboter nicht messen kann.

Lösungsansatz

Denoising World Model Learning (DWL) behandelt die Sim-to-Real-Lücke als Rauschen auf dem wahren Zustand: Im Training maskiert es nicht beobachtbare Größen und wendet Domain Randomization an, und ein GRU-Encoder komprimiert die Beobachtungshistorie in einen 24-dimensionalen latenten Vektor, aus dem ein Decoder den vollständigen Zustand rekonstruieren muss, einschließlich Basisgeschwindigkeit, Reibung, Fußkontakt und eines Geländehöhenscans. Der Actor handelt auf Basis dieses latenten Vektors und wird mit PPO trainiert, während ein asymmetrischer Critic den vollständigen Zustand sieht; Entrauschungs-, Policy- und Value-Verluste werden gemeinsam optimiert. Die Policy regelt beide Freiheitsgrade des Sprunggelenks aktiv über eine geschlossene kinematische Kette, und eine Fußtrajektorie als Polynom fünften Grades liefert eine dichte Belohnung für weichen Fußkontakt.

Wichtigste Erkenntnisse

Die Modellierung der Sim-to-Real-Lücke als Umgebungs-, Dynamik-, Sensor- und Maskierungsrauschen und das Training eines Encoder-Decoders zu dessen Entfernung verschaffen der Policy einen eingebauten Zustandsschätzer.
Allein aus der Propriozeption enthält der latente Zustand genug Information, um ein grobes Höhenprofil des Geländes, Fußkontakte und die Basisgeschwindigkeit zu rekonstruieren, und die Gangart ändert sich, wenn der Roboter von einem Hang auf Treppen wechselt.
Die aktive Regelung beider Sprunggelenk-DoF über eine geschlossene kinematische Kette war auf unregelmäßigem Gelände und Treppen entscheidend; Isaac Gym kann die geschlossene Kette nicht modellieren, daher werden zwei virtuelle Motoren simuliert und ihre Sollwerte auf die realen Motoren umgerechnet.
Die Belohnung der Fußgeschwindigkeitsverfolgung entlang einer geplanten Schwungtrajektorie als Polynom fünften Grades, statt sich nur auf spärliche Kontaktkräfte zu stützen, liefert in jedem Schritt ein Belohnungssignal und fördert sanftes Aufsetzen.

Hauptergebnisse

Auf XBot-S war DWL bei Hang, Treppe aufwärts, Treppe abwärts und unregelmäßigem Gelände zu 100 % erfolgreich; PPO mit Sprunggelenkregelung erreichte 80 %, 20 %, 60 % und 20 %, DWL mit passiven Sprunggelenken 80 %, 20 %, 100 % und 40 %.
Der Roboter lief weiter, während einer getragenen Tasche schrittweise bis zu 15 kg hinzugefügt wurden (über ein Drittel seines Gewichts), ging mit bis zu 20 kg Zusatzlast und schob einen mit 60 kg beladenen Wagen.
In einem Sim-to-Sim-Test in MuJoCo betrug der MSE der Vorwärtsgeschwindigkeitsschätzung über 60 s 0,046 und der MSE der Schätzung des Euler-Gierwinkels 0,074; auf dem realen Roboter wurde die IMU-Drift um etwa 87 % verringert.
Eine einzige Policy, die mit 100 Hz und einer PD-Schleife mit 500 Hz läuft, ließ sich zero-shot auf XBot-S (1,2 m, 38 kg) und XBot-L (1,65 m, 57 kg) übertragen, einschließlich Spaziergängen im Freien auf Zement, Ziegeln, Erde und Schnee.
Der DWL-Actor hat etwa 320.192 trainierbare Parameter und wurde mit 12.288 parallelen simulierten Umgebungen trainiert.

Einschränkungen

Die Policy nutzt keine visuelle Eingabe; die Autoren überlassen das Hinzufügen visueller Information für die Navigation in schwierigem Gelände künftiger Arbeit.
Die Autoren geben an, dass eine präzise Vorhersage der Geländeform aus der Propriozeption schwierig bleibt; nur ein grobes Profil wird rekonstruiert.
Wahre Zustände lassen sich am realen Roboter nicht messen, daher wurde die Genauigkeit der Geschwindigkeits- und Gierwinkelschätzung in einem Sim-to-Sim-Transfer in MuJoCo statt auf der Hardware geprüft.
Benchmark-Vergleiche wurden nur auf XBot-S mit stillgehaltenen Armen durchgeführt, und das Paper gibt nicht an, auf wie vielen Versuchen jede Erfolgsrate beruht.
Nur Beinregelung: Die Armmotoren wurden während der gesamten Studie stillgehalten.

Wirkung auf das Fachgebiet

Finalist für den RSS 2024 Outstanding Paper Award und 152-mal zitiert. Das Paper veröffentlicht im Anhang seine vollständige Netzarchitektur, Belohnungsterme, Bereiche der Domain Randomization und Hyperparameter. Eine Veröffentlichung von Code, Modell oder Hardwaredesign wird nicht angegeben.

Zusammenfassung

Humanoide Roboter eignen sich mit ihrer menschenähnlichen Skelettstruktur besonders für Aufgaben in menschzentrierten Umgebungen. Diese Struktur bringt jedoch zusätzliche Herausforderungen beim Entwurf von Fortbewegungsreglern mit sich, insbesondere in komplexen realen Umgebungen. Infolgedessen sind bestehende humanoide Roboter auf relativ einfaches Gelände beschränkt, sei es mit modellbasierter Regelung oder mit modellfreiem Reinforcement Learning. In dieser Arbeit stellen wir Denoising World Model Learning (DWL) vor, ein End-to-End-Framework für Reinforcement Learning zur Fortbewegungsregelung von Humanoiden, das den weltweit ersten humanoiden Roboter vorführt, der anspruchsvolles reales Gelände wie verschneiten und geneigten Boden im Freien, Treppen auf und ab sowie extrem unebenes Gelände meistert. Alle Szenarien laufen mit demselben gelernten neuronalen Netz und Zero-Shot-Sim-to-Real-Transfer, was auf die überlegene Robustheit und Generalisierungsfähigkeit der vorgeschlagenen Methode hinweist.

Open Source Robotics