FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

Autoren: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

FlashSAC stabilisiert Soft Actor-Critic mit großen Netzen, großen Batches, wenigen Updates und begrenzten Normen, schlägt PPO bei hochdimensionalen Aufgaben und verkürzt das Sim-to-Real-Training des G1 auf Minuten.

Warum es wichtig ist

Es zeigt, dass Off-Policy-RL mit einer einzigen Hyperparameter-Konfiguration über Aufgaben hinweg für die Sim-to-Real-Steuerung von Humanoiden eingesetzt werden kann und mit wachsenden Zustands- und Aktionsdimensionen besser skaliert als PPO. Kürzere Trainingszeiten machen es praktikabel, an hochdimensionalen Robotern und langsameren, realistischeren Simulatoren zu iterieren.

Problem

PPO dominiert Sim-to-Real-RL, weil es stabil ist, doch seine engen On-Policy-Daten erschweren die Wertschätzung bei hochdimensionalen Aufgaben wie geschickten Händen und Humanoiden. Off-Policy-Methoden verwenden breitere Daten aus einem Replay-Buffer wieder, doch die Anpassung des Critics erfordert viele Gradientenupdates, was langsam ist und Bootstrapping-Fehler sich aufschaukeln lässt, besonders bei größeren Netzen.

Lösungsansatz

FlashSAC baut auf Soft Actor-Critic auf und folgt Skalierungstrends des überwachten Lernens: 1024 parallele Umgebungen, ein Replay-Buffer mit bis zu 10M Transitionen, ein 6-schichtiges Netz mit 2,5M Parametern bei Batchgröße 2048 und nur 2 Gradientenupdates pro 1024 neuen Transitionen. Stabilität entsteht durch die Begrenzung der Normen von Gewichten, Merkmalen und Gradienten: invertierte Residualblöcke, Batch-Normalisierung vor der Aktivierung, ein abschließendes RMSNorm, ein distributioneller Critic mit adaptiver Belohnungsskalierung und Projektion der Gewichte auf die Einheitssphäre. Die Exploration nutzt ein einziges Entropieziel, festgelegt durch eine feste Standardabweichung der Aktionen (0,15) für alle Roboter, sowie ein günstiges 'Noise-Repetition'-Schema für zeitlich korreliertes Rauschen.

Wichtigste Erkenntnisse

Im Off-Policy-RL konvergieren größere Modelle mit größeren Batches und weit weniger Gradientenupdates in der realen Laufzeit schneller, sofern der Critic stabilisiert ist
Die Begrenzung der Normen von Gewichten, Merkmalen und Gradienten hält die Verlustlandschaft des Critics gut konditioniert; jede hinzugefügte Komponente senkte die gemessene Konditionszahl
Daten aus dem Replay-Buffer decken einen viel breiteren Zustands-Aktions-Bereich ab als On-Policy-Rollouts, was die Autoren mit den schwächeren Ergebnissen von PPO bei hochdimensionalen Aufgaben in Verbindung bringen
Ein einziges, über die Standardabweichung der Aktionen definiertes Entropieziel (bester Bereich 0,15-0,2) funktioniert über verschiedene Embodiments hinweg ohne aufgabenspezifisches Tuning
Das Wiederholen des gezogenen Aktionsrauschens über mehrere Schritte ergibt kohärente Exploration in massiv paralleler Simulation bei nahezu keinen Speicherkosten

Hauptergebnisse

Unitree G1 (29-DoF) lief nach etwa 20 Minuten Training auf Hardware über ebenen Boden, gegenüber etwa 3 Stunden für PPO
Unitree G1 erklomm nach etwa 4 Stunden Training reale 15-cm-Stufen (Abmessungen im Training nicht gesehen), gegenüber fast 20 Stunden für PPO
Auf 10 hochdimensionalen GPU-Simulator-Aufgaben (Allegro, Shadow Hand, G1, H1, Booster T1) erreichte FlashSAC höhere Returns mit weniger realer Laufzeit als PPO, obwohl PPO 200M Schritte (etwa 3x die Rechenleistung) gegenüber 50M bei FlashSAC lief; auf 15 niedrigdimensionalen Aufgaben übertraf es PPO leicht
Auf 40 CPU-Aufgaben mit einzelner Umgebung (MuJoCo, DeepMind Control, MyoSuite, HumanoidBench) übertraf es PPO, XQC, SimbaV2, TD-MPC2 und MR.Q bei repräsentativen Aufgaben mit einer einzigen Konfiguration
Auf 8 visionsbasierten DeepMind Control-Aufgaben erreichte oder übertraf es DrQ-v2 und MR.Q in der Endleistung und konvergierte in der realen Laufzeit schneller
Ablationen: Replay-Buffer bis zu 10M Transitionen verbesserten die Ergebnisse, während 50M das Lernen verlangsamten; Mixed Precision senkte die reale Laufzeit um 5-10 %

Einschränkungen

Die Autoren merken an, dass sich die Arbeit auf zustandsbasierte Regelung konzentriert, und überlassen die Übertragung der Prinzipien zur Critic-Stabilisierung auf taktilbasiertes Lernen künftiger Arbeit (kein eigener Abschnitt zu Einschränkungen)
Bei niedrigdimensionalen Aufgaben ist der Vorteil gegenüber PPO gering: On-Policy-Methoden bleiben wirksam, wenn die Zustands-Aktions-Räume klein und die Simulation günstig ist
Sehr große Replay-Buffer (50M) verlangsamten das Lernen, weil aktuelle hochwertige Samples seltener gezogen werden
Sim-to-Real wurde an einem Roboter gezeigt (Unitree G1, blinde Fortbewegung), und FlashSAC und PPO verwendeten dort unterschiedliche Belohnungsgewichte, einschließlich einer Abbruchstrafe, die nur PPO benötigte
Die Update-Zeit des Algorithmus wurde in einer repräsentativen Umgebung pro Einstellung gemessen und für alle Umgebungen übernommen, sodass die Laufzeitsummen Schätzungen sind

Wirkung auf das Fachgebiet

Ausgezeichnet mit dem RSS 2026 Outstanding Paper Award; bisher 17 Zitierungen. Die Autoren stellen eine Projektwebseite bereit; das Paper selbst enthält keinen Code-Link.

Zusammenfassung

Reinforcement Learning (RL) ist ein zentraler Ansatz für die Robotersteuerung, wenn keine Expertendemonstrationen verfügbar sind. On-Policy-Methoden wie Proximal Policy Optimization (PPO) sind wegen ihrer Stabilität weit verbreitet, doch ihre Abhängigkeit von eng verteilten On-Policy-Daten begrenzt eine genaue Policy-Evaluierung in hochdimensionalen Zustands- und Aktionsräumen. Off-Policy-Methoden können diese Einschränkung überwinden, indem sie aus einer breiteren Zustands-Aktions-Verteilung lernen, leiden jedoch unter langsamer Konvergenz und Instabilität, da die Anpassung einer Wertfunktion an vielfältige Daten viele Gradientenupdates erfordert, wodurch sich Critic-Fehler durch Bootstrapping anhäufen. Wir stellen FlashSAC vor, einen schnellen und stabilen Off-Policy-RL-Algorithmus auf Basis von Soft Actor-Critic. Inspiriert von im überwachten Lernen beobachteten Skalierungsgesetzen reduziert FlashSAC die Gradientenupdates drastisch und gleicht dies mit größeren Modellen und höherem Datendurchsatz aus. Um die Stabilität bei vergrößertem Maßstab zu erhalten, begrenzt FlashSAC explizit die Normen von Gewichten, Merkmalen und Gradienten und dämmt so die Anhäufung von Critic-Fehlern ein. Über mehr als 60 Aufgaben in 10 Simulatoren übertrifft FlashSAC PPO und starke Off-Policy-Baselines durchweg sowohl in der Endleistung als auch in der Trainingseffizienz, mit den größten Zugewinnen bei hochdimensionalen Aufgaben wie geschickter Manipulation. Bei der Sim-to-Real-Fortbewegung von Humanoiden verkürzt FlashSAC die Trainingszeit von Stunden auf Minuten und zeigt damit das Potenzial von Off-Policy-RL für den Sim-to-Real-Transfer.

Open Source Robotics