Legged Locomotion in Challenging Terrains using Egocentric Vision

Autoren: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

RL auf kostengünstigen Geländeproben und anschließende Destillation auf Tiefendaten verschaffen einem A1-Vierbeiner eine Policy von Tiefe zu Gelenkwinkeln, die Treppen und Bordsteine hinaufsteigt und Lücken und Trittsteine überquert.

Warum es wichtig ist

Die eingesetzte Policy verwendet eine Tiefenkamera und benötigt weder Höhenkarte noch Lokalisierung noch MPC, sodass sie auf dem UP-Board und dem Jetson NX an Bord des Roboters läuft. Gangarten wie starke Hüftabduktion auf Treppen entstehen aus dem Training, wodurch ein Roboter mit 28 cm Hüfthöhe Stufen nahe seiner eigenen Höhe erklimmen kann.

Problem

Visionsbasierte Fortbewegung auf Beinen wird meist in Höhenkartierung und Planung der Fußaufsetzpunkte aufgeteilt, und Höhenkarten benötigen mehrere Tiefenbilder, die mit Posenschätzungen aus der Odometrie fusioniert werden. Posendrift und Sensorrauschen machen diese Karten auf Lücken und Trittsteinen unzuverlässig, und die zusätzlichen Kameras, Lidars und Rechenressourcen stehen auf einem kleinen, kostengünstigen Roboter nicht zur Verfügung. Ein kleiner Roboter kann sich zudem nicht auf vordefinierte Gang-Priors verlassen, um Hindernisse nahe seiner eigenen Höhe zu überwinden.

Lösungsansatz

Phase 1 trainiert in der Simulation eine Policy mit PPO unter Verwendung von Scandots (Geländehöhen, die an festen Punkten unter dem Roboter abgetastet werden) und privilegierten Informationen, mit energiebasierten Belohnungen und ohne Gang-Priors. Phase 2 destilliert sie mit DAgger in eine rekurrente Policy, entweder ein monolithisches GRU oder Schätzer im Stil von RMA, die die eingefrorene Basis-Policy speisen, die egozentrische Tiefe und Propriozeption mit 50 Hz direkt auf Soll-Gelenkwinkel abbildet und ein Gedächtnis nutzt, um das Gelände unter den Hinterfüßen zu erschließen.

Wichtigste Erkenntnisse

Das Rendern von Tiefe verlangsamt die Simulation um eine Größenordnung; RL auf kostengünstigen Scandots und anschließende Destillation auf Tiefe mit überwachtem Lernen ermöglichen es, das gesamte System auf einer einzigen GPU in wenigen Tagen zu trainieren.
Eine rekurrente Policy kann sich an Gelände erinnern, das die Frontkamera zuvor gesehen hat, um die Hinterfüße zu platzieren, und ersetzt so eine explizite Höhenkarte.
Ohne Gang-Priors entstehen aus energieminimierenden Belohnungen Verhaltensweisen, die zu einem kleinen Roboter passen, etwa starke Hüftabduktion, um Treppenkanten zu überwinden.
Werden Scandots und Sichtfeld der Kamera so gewählt, dass der Imitationsverlust in Phase 2 niedrig bleibt, ist der Return der Policy aus Phase 2 beweisbar nahe am Optimum (Theorem 2.1).
Pipelines mit Höhenkarten benötigen starkes Trainingsrauschen, um mit Posendrift zurechtzukommen; in der Simulation kommt diese 'noisy'-Baseline auf Trittsteinen kaum voran.

Hauptergebnisse

Reale Welt: 100 % Erfolg beim Treppauf- und Treppabsteigen (17 cm hoch, 30 cm tief, 13 Stufen), 100 % bei 26 cm breiten Lücken und 94 % auf Trittsteinen (30 cm breit, 15 cm Abstand); die blinde Baseline erzielt 0 % treppauf, bei Lücken und auf Trittsteinen.
Gesamtwerte der Simulation: mittlere Vorwärtsverschiebung 134,18 m (RMA) und 135,85 m (monolithisch) gegenüber 73,05 m (noisy) und 84,79 m (blind); mittlere Zeit bis zum Sturz 278,45 s und 275,01 s gegenüber 147,83 s und 175,06 s.
Simulierte Trittsteine: Die RMA- und die monolithische Policy legen 18,83 m und 20,72 m zurück, die noisy- und die blind-Baseline 1,09 m und 1,02 m.
Auf simulierten Hängen kommen die Vision-Policies weiter als die Baselines: laut Text im Abschnitt Results um bis zu 27 %, laut Bildunterschrift von Table 1 um bis zu 25 %.
Stufenhöhe in städtischen Tests: laut Abschnitt Urban Environments bis zu 24 cm hoch (geringste Breite 28 cm), laut Introduction bis zu 25 cm, 89 % der Hüfthöhe; Bordsteine bis zu 26 cm.
Die blinde Baseline bewältigt das Treppabsteigen jedes Mal, jedoch mit einem fallenden Gang mit hohen Stoßbelastungen, durch den sich während der Versuche die hintere rechte Hüfte des Roboters löste.

Einschränkungen

Fehlschläge treten weiterhin auf, wenn sich Sicht oder Gelände zwischen Simulation und realer Welt unterscheiden; die einzige Abhilfe in diesem Ansatz besteht darin, den Fall in der Simulation nachzubilden und neu zu trainieren, was die Autoren als grundlegende Einschränkung bezeichnen.
Der Roboter bewegt sich nur durch die Umgebung und interagiert nicht mit ihr; das Hinzufügen eines Arms ist künftige Arbeit.
Da das Gelände unter dem Körper aus dem visuellen Gedächtnis stammt, verfehlt der Roboter auf Treppen manchmal eine Stufe (er fängt sich wieder), und im Freien bleibt er manchmal in Spalten stecken.
Die Vergleiche in der realen Welt verwendeten getrennte Policies aus Phase 2: die eingebaute Frontkamera für Treppen und eine extern montierte obere Kamera für Lücken und Trittsteine.
Auf der Hardware wird die Methode nur mit der blinden Baseline verglichen; die Höhenkarten-Baseline (noisy) wird nur in der Simulation getestet.

Wirkung auf das Fachgebiet

Gewinnerin des CoRL 2022 Best Systems Paper Award, mit 373 Zitationen. Die Arbeit veröffentlicht Videos auf ihrer Projektseite; eine Code-Veröffentlichung wird nicht genannt.

Zusammenfassung

Tiere sind zu präziser und agiler Fortbewegung mithilfe des Sehens fähig. Diese Fähigkeit nachzubilden, ist ein langjähriges Ziel der Robotik. Der traditionelle Ansatz bestand darin, dieses Problem in die Phasen Höhenkartierung und Planung der Fußaufsetzpunkte zu zerlegen. Die Höhenkartierung ist jedoch anfällig für Ausfälle und starke Rauschartefakte, erfordert spezialisierte Hardware und ist biologisch unplausibel. In dieser Arbeit stellen wir das erste End-to-End-Fortbewegungssystem vor, das Treppen, Bordsteine, Trittsteine und Lücken überwinden kann. Wir zeigen dieses Ergebnis an einem mittelgroßen vierbeinigen Roboter mit einer einzigen nach vorn gerichteten Tiefenkamera. Die geringe Größe des Roboters erfordert die Entdeckung spezialisierter Gangmuster, die anderswo nicht zu sehen sind. Die egozentrische Kamera verlangt, dass sich die Policy an vergangene Informationen erinnert, um das Gelände unter ihren Hinterfüßen zu schätzen. Wir trainieren unsere Policy in der Simulation. Das Training hat zwei Phasen: Zuerst trainieren wir eine Policy mit Reinforcement Learning unter Verwendung einer kostengünstig zu berechnenden Variante des Tiefenbilds, und in Phase 2 destillieren wir sie dann mit überwachtem Lernen in die endgültige Policy, die Tiefe verwendet. Die resultierende Policy lässt sich auf die reale Welt übertragen und kann auf der begrenzten Rechenleistung des Roboters in Echtzeit laufen. Sie kann eine große Vielfalt an Gelände überwinden und ist dabei robust gegenüber Störungen wie Stößen, rutschigen Oberflächen und felsigem Gelände. Videos unter https://vision-locomotion.github.io

Open Source Robotics