Learning Vision-Based Bipedal Locomotion for Challenging Terrain

Autoren: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Eine in der Simulation trainierte RL-Policy und ein Prädiktor von Tiefenbild zu Höhenkarte lassen den Zweibeiner Cassie Blöcke, Treppen und eine 0,5 m hohe Stufe überwinden, ohne globale Odometrie und ohne Feinabstimmung in der realen Welt.

Warum es wichtig ist

Das gesamte System läuft an Bord und schätzt keine globale Pose, wodurch eine häufige Fehlerquelle bei Laufrobotern entfällt, die hart und oft auf den Boden treffen. Die Autoren berichten von der ersten Sim-to-Real-Demonstration visionsbasierter zweibeiniger Fortbewegung über schwieriges Gelände und dokumentieren, welche Trainingsentscheidungen nötig waren, damit der Transfer funktioniert.

Problem

RL-Regler für Zweibeiner waren bisher meist blind und stützten sich allein auf Propriozeption, sodass sie das Gelände nicht vorhersehen können und zu aggressiven Gangarten mit hohen Schwungtrajektorien neigen. Modellbasierte Wahrnehmungspipelines teilen das Problem in Ganzkörpersteuerung, Fußtrittplanung, Odometrie und Geländekartierung auf, und in einem globalen Koordinatensystem erstellte Karten driften mit dem Fehler der Posenschätzung, der durch häufige Kontakte und aggressive Bewegungen entsteht.

Lösungsansatz

Eine Fortbewegungs-Policy wird mit PPO in MuJoCo auf einer Höhenkarte von 1,5 m mal 1 m mit 5 cm Auflösung trainiert, ausgedrückt relativ zur Floating Base des Roboters; sie kombiniert eine vortrainierte blinde LSTM-Policy mit einem visionsbasierten Modulator, der auch die Gangfrequenz und die Phasenverschiebung je Bein anpasst. Ein separater Höhenkarten-Prädiktor (eine LSTM-Stufe, gefolgt von einer U-Net-Verfeinerungsstufe) wird auf 30.000 simulierten Episoden trainiert, um eine Historie egozentrischer Tiefenbilder und Roboterzustände auf diese Höhenkarte abzubilden. Domänenrandomisierung von Dynamik, Drehmomenteffizienz, Verzögerungen, Höhenkartenrauschen und Tiefenbildrauschen überträgt beide Netze auf den realen Roboter.

Wichtigste Erkenntnisse

Wird die Höhenkarte im lokalen Koordinatensystem des Roboters ausgedrückt, kann die Policy ohne globale Kartierung oder Odometrie auf das Gelände reagieren; auf der Hardware setzte die Policy die Schwungbeine auch über Gelände korrekt auf, das die Kamera nicht mehr sehen konnte, was die Autoren so deuten, dass die Policy eine interne Odometrie mitführt.
Die Mischung der gesampelten Geländetypen (hauptsächlich Blöcke, Grate und Treppen) formte eine robuste, nicht aggressive Gangart wirksamer als zusätzliche heuristische Belohnungsterme: Treppen regulieren die Schrittlänge und Grate die Schritthöhe.
Ohne Strafterm für Fußkollisionen erreichte die Policy in der Simulation einen ähnlichen Erfolg, nutzte Kollisionen aber als Rückmeldung, etwa indem sie einen Fuß an einer senkrechten Fläche hochschob; das daraus folgende häufige Stolpern verhinderte den Sim-to-Real-Transfer.
Die Randomisierung der Drehmomenteffizienz war besonders wichtig für die 0,5 m hohe Stufe, bei der der Kniemotor in die Sättigung geht.
Ein gelernter Gangtakt und ein Critic mit privilegierten Eingaben (globale Fußpositionen, Höhenkarten um jeden Fuß, Entfernungsmesser an den Fußspitzen) erhöhten beide in der Simulation den Erfolg in den schwierigen Geländeeinstellungen.

Hauptergebnisse

Auf der Hardware überwand Cassie einzelne hohe Blöcke, Treppen, zufällige Blöcke und eine 0,5 m hohe Stufe (etwa 60 % der Beinlänge) mit Geschwindigkeiten bis zu 1 m/s und hielt Geschwindigkeit und Richtung auf einem Laufband, während eine Person Blöcke darauf schob.
Rekonstruktionsfehler der Höhenkarte in der Simulation (MAE): LSTM 2,806 cm, Transformer 4,221 cm, MLP 4,932 cm, LSTM ohne Roboterzustände 4,448 cm.
In der Closed-Loop-Simulation ergaben alle Höhenkarten-Prädiktoren ähnliche Erfolgsraten, doch der LSTM-Prädiktor erzeugte die wenigsten Episoden mit Fußkollisionen und die wenigsten durch Kollisionen verursachten Abbrüche.
Auf dem Roboter lief der Tiefenstrom mit 90 FPS, die Höhenkarten-Inferenz allein lief mit 200 Hz auf dem Jetson Orin Nano, und die Ende-zu-Ende-Verzögerung zwischen Prädiktor und Policy wurde mit bis zu 20 ms gemessen.
In Ablationen in der Simulation (1000 Episoden je Geländemodus) hatten Policies ohne den gelernten Takt oder ohne den privilegierten Critic auf schwierigem Gelände deutlich geringeren Erfolg, und die blinde Policy schnitt am schlechtesten ab.

Einschränkungen

Da nur eine nach vorn gerichtete Kamera verwendet wird, schließen die Geschwindigkeitsvorgaben auf Grat-, Treppen- und Blockgelände Rückwärts- und Seitwärtsgehen aus.
Die egozentrische Kamera kann den Boden unter dem Roboter nicht sehen, daher muss das Gelände unter den Füßen aus dem bewältigt werden, was die Policy bereits gesehen hat.
Die Hardware-Ergebnisse werden qualitativ gezeigt (Holzblöcke im Labor, Treppen, ein Laufband und das Einreichungsvideo); die Arbeit nennt keine Erfolgsraten in der realen Welt.
Trainings- und Evaluationsgelände sind auf fünf prozedural erzeugte Typen beschränkt: eben, Hügel, Blöcke, Grate und Treppen.
Der Strafterm für Fußkollisionen wirkt nur als weiche Nebenbedingung, die die Policy verletzen kann, um einen Sturz zu vermeiden.

Wirkung auf das Fachgebiet

Finalist für den IEEE ICRA 2024 Best Paper Award in Cognitive Robotics, mit 98 Zitierungen. Die Arbeit verlinkt keinen veröffentlichten Code, keine Daten und keine Hardware-Entwürfe.

Zusammenfassung

Reinforcement Learning (RL) für zweibeinige Fortbewegung hat kürzlich robuste Gangarten über mäßig schwieriges Gelände gezeigt, und zwar allein mit propriozeptiver Sensorik. Solche blinden Regler werden jedoch in Umgebungen versagen, in denen Roboter das lokale Gelände vorhersehen und sich daran anpassen müssen, was visuelle Wahrnehmung erfordert. In dieser Arbeit schlagen wir ein vollständig gelerntes System vor, das zweibeinigen Robotern ermöglicht, auf lokales Gelände zu reagieren und dabei die vorgegebene Fortbewegungsgeschwindigkeit und -richtung beizubehalten. Unser Ansatz trainiert zunächst einen Regler in der Simulation mithilfe einer Höhenkarte, die im lokalen Koordinatensystem des Roboters ausgedrückt ist. Anschließend werden in der Simulation Daten gesammelt, um einen Höhenkarten-Prädiktor zu trainieren, dessen Eingabe die Historie der Tiefenbilder und Roboterzustände ist. Wir zeigen, dass dieser Ansatz mit geeigneter Domänenrandomisierung einen erfolgreichen Sim-to-Real-Transfer ohne explizite Posenschätzung und ohne Feinabstimmung mit realen Daten ermöglicht. Unseres Wissens ist dies das erste Beispiel für Sim-to-Real-Lernen für visionsbasierte zweibeinige Fortbewegung über schwieriges Gelände.

Open Source Robotics