PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

Autoren: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein 128-dimensionaler Encoder für Tiefe und Propriozeption, trainiert über Predictive Information, mit einem kleinen, per ARS trainierten Policy-Kopf: 100 % Erfolg auf realen Trittsteinen gegenüber 40 % für ARS.

Warum es wichtig ist

Die Methode bewahrt die Parallelität und Einfachheit von Evolutionsstrategien und verkleinert zugleich ihr Haupthindernis bei visionsbasierter Regelung, die Größe des Parametersuchraums. Die Policies wurden für Trittsteine und Navigation in Innenräumen von PyBullet auf einen realen Laikago übertragen, mit demselben Sim-to-Real-Verfahren wie in der früheren ARS-Arbeit.

Problem

Evolutionsstrategien wie Augmented Random Search (ARS) lassen sich gut parallelisieren und explorieren im Parameterraum, skalieren aber schlecht auf die vielen Parameter der konvolutionalen Netze, die für visuelle Fortbewegung nötig sind. In den Tests der Autoren machten die gradientenbasierten Alternativen SAC und PI-SAC bei diesen Aufgaben keine nennenswerten Fortschritte, und die frühere ARS-Policy für visuelle Fortbewegung erreichte auf realen Trittsteinen nur 40 % Erfolg.

Lösungsansatz

PI-ARS teilt den Agenten in einen Encoder und einen kleinen Policy-Kopf auf. Der Encoder bildet zwei 32×24-Tiefenbilder und propriozeptive Zustände auf einen 128-dimensionalen Vektor ab und wird per Gradientenabstieg so trainiert, dass er Predictive Information maximiert, wobei ein InfoNCE-Term, der die zukünftige Tiefenbeobachtung vorhersagt, mit einer RNN-Belohnungsvorhersage kombiniert wird, und zwar auf Trajektorien, die ARS ohnehin sammelt; ARS optimiert dann nur einen 3-schichtigen MLP-Kopf, der High-Level-Befehle an einen MPC-basierten Low-Level-Regler ausgibt.

Wichtigste Erkenntnisse

Die Trennung von Representation Learning (gradientenbasiert) und Policy-Suche (gradientenfrei) vermeidet das Skalierungsproblem von Evolutionsstrategien und bewahrt deren Vorteile.
Trajektorien aus den ARS-Perturbations-Rollouts werden in einem Replay-Puffer gespeichert und für das Training des Encoders wiederverwendet, sodass das Representation Learning keine zusätzlichen Umgebungsdaten benötigt.
Belohnungsvorhersage allein ergab Repräsentationen, die zu schwach waren, um die Aufgaben zu lösen; der kontrastive Term für zukünftige Beobachtungen war nötig.
Die Autoren vermuten, dass die Exploration im Parameterraum und die Stabilität von ARS hier entscheidend sind: Das Hinzufügen von Predictive Information zu SAC (PI-SAC) half nicht, eine gute Repräsentation allein reichte also nicht aus.

Hauptergebnisse

Reale Trittsteine (vier Steine, drei Lücken von 0,12–0,18 m): PI-ARS ist in 10 von 10 Versuchen erfolgreich (100 %), gegenüber 40 % für die ARS-Baseline unter denselben Trainings- und Evaluationsbedingungen.
Simulierte unebene Trittsteine: Der mittlere Return nach 2.000.000 Trainingsepisoden steigt um 48,01 %, von 2,93 auf 4,34.
PI-ARS erzielt bei allen vier simulierten Aufgaben höhere Returns und eine bessere Sample-Effizienz als ARS: unebene Trittsteine, quinkunxartig angeordnete Pfähle, bewegliche Plattformen und Navigation in Innenräumen.
SAC und PI-SAC erzielten bei diesen Aufgaben trotz umfangreicher Hyperparameter-Abstimmung keinerlei nicht vernachlässigbaren Lernfortschritt.
Reale Navigation in Innenräumen: Die Policy erreichte das Ziel und fand eine Abkürzung zwischen zwei Hindernissen, kollidierte jedoch mit dem Arm eines Hindernisses.
Das Training verwendete 1024 Perturbationen pro ARS-Iteration, von denen die besten 512 behalten wurden, bis zu 4000 Iterationen (höchstens 2.048.000 Simulationsepisoden pro Versuch) und 30 Versuche pro Methode.

Einschränkungen

Bei der realen Navigation in Innenräumen kollidierte der Roboter mit dem Arm eines Hindernisses, weil er nur mit kastenförmigen simulierten Hindernissen trainiert worden war.
Es wurden nur Aufgaben in Innenräumen getestet; visuelle Fortbewegung im Freien bleibt künftiger Arbeit überlassen.
Die Policy für reale Trittsteine wurde auf einer leichteren Version des simulierten Geländes mit geringeren Höhenunterschieden der Steine trainiert.
Die Navigation in Innenräumen benötigte ein Motion-Capture-System, um die Basisposition des Roboters für den relativen Zielvektor zu verfolgen.
Die gelernte Policy gibt nur High-Level-Befehle aus und ist für deren Ausführung auf einen MPC-basierten Low-Level-Regler angewiesen.

Wirkung auf das Fachgebiet

Finalistin für den IROS 2022 Best Paper Award und den ABB Best Student Paper Award, mit 21 Zitationen. Die Autoren veröffentlichen eine Seite mit Zusatzvideos; die Arbeit nennt keine Code-Veröffentlichung.

Zusammenfassung

Algorithmen der Evolutionsstrategie (Evolution Strategy, ES) haben beim Training komplexer Robotersteuerungs-Policies vielversprechende Ergebnisse gezeigt, dank ihrer Fähigkeit zu massiver Parallelität, einfacher Implementierung, effektiver Exploration im Parameterraum und kurzer Trainingszeit. Eine zentrale Einschränkung von ES ist jedoch ihre Skalierbarkeit auf Modelle großer Kapazität, einschließlich moderner neuronaler Netzarchitekturen. In dieser Arbeit entwickeln wir Predictive Information Augmented Random Search (PI-ARS), um diese Einschränkung abzumildern, indem wir jüngste Fortschritte im Representation Learning nutzen, um den Parametersuchraum für ES zu verkleinern. PI-ARS kombiniert nämlich eine gradientenbasierte Technik des Representation Learning, Predictive Information (PI), mit einem gradientenfreien ES-Algorithmus, Augmented Random Search (ARS), um Policies zu trainieren, die komplexe sensorische Robotereingaben verarbeiten und hochgradig nichtlineare Roboterdynamik bewältigen können. Wir evaluieren PI-ARS an einer Reihe anspruchsvoller Aufgaben der visuellen Fortbewegung, bei denen ein vierbeiniger Roboter über unebene Trittsteine, quinkunxartig angeordnete Pfähle und bewegliche Plattformen laufen sowie eine Navigationsaufgabe in Innenräumen bewältigen muss. Über alle Aufgaben hinweg zeigt PI-ARS eine deutlich bessere Lerneffizienz und Leistung als die ARS-Baseline. Wir validieren unseren Algorithmus zudem, indem wir zeigen, dass die gelernten Policies erfolgreich auf einen realen vierbeinigen Roboter übertragen werden können, und erreichen zum Beispiel eine Erfolgsrate von 100 % in der realen Trittsteinumgebung, was frühere Ergebnisse mit 40 % Erfolg drastisch verbessert.

Open Source Robotics