Do Differentiable Simulators Give Better Policy Gradients?

Autoren: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Exakte Simulatorgradienten können unter Kontakt, Steifigkeit und Chaos verzerrt oder stark streuend sein; ein Schätzer α-ter Ordnung mischt sie unter einer Genauigkeitsschranke mit gesampelten Gradienten.

Warum es wichtig ist

Die Arbeit präsentiert ihre minimalen Beispiele (Reibung, steifer Kontakt, Kollisionen mit scharfkantiger Geometrie) als Abstraktionen kontaktreicher Aufgaben wie der Robotermanipulation und argumentiert, dass solche Aufgaben diese Eigenschaften zwangsläufig aufweisen. Ihre Ergebnisse legen nahe, dass bei Policies, die mit einem differenzierbaren Simulator trainiert werden, exakte Gradienten die Optimierung in diesen Fällen zu schlechteren Minima lenken können und dass Modellierungsentscheidungen im Simulator wie die Kontaktsteifigkeit die Policy-Optimierung beeinflussen; die Autoren bieten dies als mögliche Erklärung dafür an, warum RL nullter Ordnung Probleme physikalischer Systeme gelöst hat, bei denen Methoden erster Ordnung Schwierigkeiten hatten, testen es aber nur an einfachen simulierten Systemen, nicht an Robotern.

Problem

Differenzierbare Simulatoren liefern exakte Gradienten eines Rollouts, die die Gradientenschätzungen nullter Ordnung (samplingbasiert) ersetzen können, auf die sich Reinforcement Learning üblicherweise stützt. Unklar war, welcher Schätzer bei den nicht glatten Zielfunktionen mit langem Horizont besser funktioniert, die bei der Regelung physikalischer Systeme mit Kontakt auftreten.

Lösungsansatz

Die Autoren analysieren den Batch-Gradienten erster Ordnung (FoBG, gemittelte exakte Gradienten) und den Batch-Gradienten nullter Ordnung (ZoBG, im Stil von REINFORCE) auf einem durch Rauschen geglätteten Policy-Zielfunktional anhand von Bias und Varianz. Anschließend schlagen sie den Batch-Gradienten α-ter Ordnung (AoBG) vor, eine gewichtete Mischung beider, die α so wählt, dass die Varianz minimiert wird, unter einer Nebenbedingung, die ihn nahe an der erwartungstreuen Schätzung nullter Ordnung hält, und die auf α = 0 zurückfällt, wenn zu wenige Samples vorliegen, um Genauigkeit zu garantieren.

Wichtigste Erkenntnisse

Unter Unstetigkeiten wie Coulomb-Reibung oder scharfkantiger Kollisionsgeometrie ist der Schätzer erster Ordnung verzerrt, während der Schätzer nullter Ordnung erwartungstreu bleibt.
Steife stetige Approximationen von Unstetigkeiten verursachen 'empirischen Bias': Mit endlich vielen Samples zeigt die Schätzung erster Ordnung eine geringe empirische Varianz, liegt aber weit vom wahren Gradienten entfernt, sodass die empirische Varianz allein das Problem nicht erkennen kann.
Auch ohne Bias können Schätzungen erster Ordnung unter steifem Kontakt oder chaotischer Dynamik eine höhere Varianz haben als solche nullter Ordnung, weil die Varianz der Schätzung nullter Ordnung mit dem Produkt aus Horizont und Zustandsdimension skaliert, nicht aber mit der Größe der Ableitungen.
Bias und Varianz der beiden Schätzer führen nicht nur zu unterschiedlichen Konvergenzraten, sondern zu unterschiedlichen lokalen Minima.
Interpolation nach minimaler empirischer Varianz, wie in früheren Arbeiten, kann nahe Unstetigkeiten stark ungenau sein; das Hinzufügen einer Genauigkeitsbedingung behebt dies.

Hauptergebnisse

Für eine stückweise lineare Relaxation der Coulomb-Reibung mit Schlupftoleranz ν hat die Schätzung erster Ordnung einen empirischen Bias von (c_σν, c_σ, 0), und ihre Varianz skaliert mit 1/ν für ν → 0 (mit c_σ = 1/(√(2π)σ)); bei ν = 0 wird sie im Erwartungswert verzerrt, bei Varianz null.
Die Varianz der Schätzung nullter Ordnung ist durch B_V²B_π²·Hn/(Nσ²) beschränkt und skaliert mit dem Horizont H und der Zustandsdimension n, nicht aber mit der Größe der Ableitungen (Lemma 3.10).
Blockschieben mit Kontakt nach dem Penalty-Verfahren, Horizont H = 200: Der Schätzer erster Ordnung übertraf den nullter Ordnung bei weichen Federn (k = 10), der nullter Ordnung gewann bei steifen Federn (k = 1000), und der Schätzer α-ter Ordnung erreichte jeweils den besseren der beiden.
Tennis (Breakout-ähnliches Paddel) mit einer linearen Feedback-Policy mit d = 21 Parametern und H = 200: Schätzer nullter und α-ter Ordnung fanden Policies, die die Bälle aus unterschiedlichen Anfangsbedingungen zurückspielten, der Schätzer erster Ordnung verfehlte weiterhin viele Bälle, und der Schätzer α-ter Ordnung konvergierte etwas schneller als der nullter Ordnung.
Bei den Beispielen Ball mit Wand und Impulsübertragung blieb der Schätzer erster Ordnung in einem flachen Bereich stecken oder wurde über die Kante in einen Bereich hoher Kosten gedrängt, während die Schätzer nullter und α-ter Ordnung die besseren Minima erreichten.
Beim Doppelpendel überstieg die Varianz des Schätzers erster Ordnung mit wachsendem Horizont die des Schätzers nullter Ordnung.

Einschränkungen

Simulatoren auf Basis optimierungsbasierter impliziter Zeitschritte (etwa MuJoCo, PyBullet und quasistatische Verfahren) wurden nicht empirisch untersucht; die Autoren erwarten, dass geometrische Unstetigkeiten dort ein Problem bleiben, und überlassen dies künftiger Arbeit.
Alle Demonstrationen sind einfache numerische Beispiele in PyTorch (Ball, Wand, Drehstab, geschobene Blöcke, gleitende Kiste, Doppelpendel, Paddel); kein Roboter, kein Robotermodell und kein Benchmark für Roboterlernen wird verwendet.
Das Varianzproblem bei steifem Kontakt besteht nur, bis die halbimplizite Integration bei festem Zeitschritt instabil wird; ein kleinerer Zeitschritt hilft auf Kosten der Rechenzeit.
Die Genauigkeitsbedingung benötigt eine vorab bekannte obere Schranke für die Wertfunktion und die Jacobi-Matrix der Policy und verwendet unabhängige Trajektorien für die beiden Schätzer; sind die Samples zu wenige, um die Schranke einzuhalten, fällt die Methode auf die Schätzung nullter Ordnung zurück.
Die Analyse nimmt gaußsches, in die Aktionen eingespeistes Rauschen an, das als Glättung des Zielfunktionals behandelt wird.

Wirkung auf das Fachgebiet

Gewinner des ICML 2022 Outstanding Paper Award und 166-mal zitiert. Die Arbeit gibt keine Veröffentlichung von Code oder Daten an.

Zusammenfassung

Differenzierbare Simulatoren versprechen kürzere Rechenzeiten für Reinforcement Learning, indem sie Gradientenschätzungen nullter Ordnung eines stochastischen Zielfunktionals durch eine Schätzung auf Basis von Gradienten erster Ordnung ersetzen. Es ist jedoch noch unklar, welche Faktoren die Leistung der beiden Schätzer auf komplexen Landschaften bestimmen, die Planung und Regelung mit langem Horizont an physikalischen Systemen umfassen, obwohl diese Frage für den Nutzen differenzierbarer Simulatoren von entscheidender Bedeutung ist. Wir zeigen, dass Eigenschaften bestimmter physikalischer Systeme, etwa Steifigkeit oder Unstetigkeiten, die Wirksamkeit des Schätzers erster Ordnung beeinträchtigen können, und analysieren dieses Phänomen unter dem Gesichtspunkt von Bias und Varianz. Zusätzlich schlagen wir einen Gradientenschätzer α-ter Ordnung mit α ∈ [0, 1] vor, der exakte Gradienten korrekt nutzt, um die Effizienz von Schätzungen erster Ordnung mit der Robustheit von Methoden nullter Ordnung zu verbinden. Wir zeigen die Fallstricke klassischer Schätzer und die Vorteile des Schätzers α-ter Ordnung an einigen numerischen Beispielen.

Open Source Robotics