FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

Autori: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

FlashSAC stabilizza Soft Actor-Critic con reti grandi, batch grandi, pochi aggiornamenti e norme limitate, batte PPO sui task ad alta dimensionalità e riduce a minuti l'addestramento sim-to-real del G1.

Perché è importante

Mostra che l'RL off-policy può essere usato per il controllo sim-to-real di umanoidi con un'unica configurazione di iperparametri per tutti i task, e che scala meglio di PPO al crescere delle dimensioni di stati e azioni. Tempi di addestramento più brevi rendono pratico iterare su robot ad alta dimensionalità e su simulatori più lenti e realistici.

Problema

PPO domina l'RL sim-to-real perché è stabile, ma i suoi dati on-policy ristretti rendono difficile la stima del valore nei task ad alta dimensionalità come mani destre e umanoidi. I metodi off-policy riutilizzano dati più ampi da un replay buffer, ma adattare il critic richiede molti aggiornamenti del gradiente, il che è lento e lascia che gli errori di bootstrapping si accumulino, soprattutto con reti più grandi.

Soluzione proposta

FlashSAC si basa su Soft Actor-Critic e segue le tendenze di scala dell'apprendimento supervisionato: 1.024 ambienti in parallelo, un replay buffer fino a 10M transizioni, una rete a 6 strati da 2,5M parametri con batch size 2.048 e solo 2 aggiornamenti del gradiente ogni 1.024 nuove transizioni. La stabilità deriva dal limitare le norme dei pesi, delle feature e dei gradienti: blocchi residui invertiti, batch normalization pre-attivazione, una RMSNorm finale, un critic distribuzionale con scalatura adattiva della ricompensa e proiezione dei pesi sulla sfera unitaria. L'esplorazione usa un unico obiettivo di entropia fissato da una deviazione standard dell'azione costante (0,15) per tutti i robot, più un economico schema di 'ripetizione del rumore' per ottenere rumore correlato nel tempo.

Idee chiave

• Nell'RL off-policy, modelli più grandi con batch più grandi e molti meno aggiornamenti del gradiente convergono più rapidamente in tempo reale, a condizione che il critic sia stabilizzato
• Limitare le norme dei pesi, delle feature e dei gradienti mantiene ben condizionato il paesaggio della loss del critic; ogni componente aggiunto ha abbassato il numero di condizionamento misurato
• I dati del replay buffer coprono una regione stato-azione molto più ampia dei rollout on-policy, cosa che gli autori collegano ai risultati più deboli di PPO nei task ad alta dimensionalità
• Un unico obiettivo di entropia definito dalla deviazione standard dell'azione (intervallo migliore 0,15-0,2) funziona tra embodiment diversi senza taratura per task
• Ripetere il rumore d'azione campionato per diversi passi offre un'esplorazione coerente nella simulazione massivamente parallela con un costo di memoria quasi nullo

Risultati principali

• Unitree G1 (29-DoF) che cammina su terreno piano su hardware dopo circa 20 minuti di addestramento, contro circa 3 ore con PPO
• L'Unitree G1 ha salito scale reali da 15 cm (dimensioni mai viste in addestramento) dopo circa 4 ore di addestramento, contro quasi 20 ore con PPO
• Su 10 task ad alta dimensionalità in simulatori su GPU (Allegro, Shadow Hand, G1, H1, Booster T1), FlashSAC ha ottenuto ritorni più alti in meno tempo reale rispetto a PPO, anche se PPO ha girato per 200M passi (circa 3x il calcolo) contro i 50M di FlashSAC; su 15 task a bassa dimensionalità ha superato leggermente PPO
• Su 40 task su CPU con ambiente singolo (MuJoCo, DeepMind Control, MyoSuite, HumanoidBench) ha superato PPO, XQC, SimbaV2, TD-MPC2 e MR.Q su task rappresentativi con un'unica configurazione
• Su 8 task di DeepMind Control basati sulla visione ha eguagliato o superato DrQ-v2 e MR.Q nelle prestazioni finali, convergendo più rapidamente in tempo reale
• Ablazioni: replay buffer fino a 10M transizioni hanno migliorato i risultati, mentre 50M hanno rallentato l'apprendimento; la precisione mista ha ridotto il tempo reale del 5-10 %

Limiti

• Gli autori osservano che il lavoro si concentra sul controllo basato sullo stato e lasciano a lavori futuri l'estensione dei principi di stabilizzazione del critic all'apprendimento basato sul tatto (nessuna sezione dedicata ai limiti)
• Nei task a bassa dimensionalità il guadagno rispetto a PPO è ridotto: i metodi on-policy restano efficaci quando gli spazi stato-azione sono piccoli e la simulazione è economica
• Replay buffer molto grandi (50M) hanno rallentato l'apprendimento perché i campioni recenti di alta qualità vengono estratti meno spesso
• Il sim-to-real è stato mostrato su un solo robot (locomozione cieca dell'Unitree G1), e lì FlashSAC e PPO hanno usato pesi di ricompensa diversi, inclusa una penalità di terminazione necessaria solo a PPO
• Il tempo di aggiornamento dell'algoritmo è stato misurato su un ambiente rappresentativo per configurazione e riutilizzato per tutti gli ambienti, quindi i totali in tempo reale sono stime

Impatto sul settore

Vincitore del RSS 2026 Outstanding Paper Award; 17 citazioni finora. Gli autori forniscono una pagina web del progetto; l'articolo stesso non riporta un link al codice.

Abstract

L'apprendimento per rinforzo (RL) è un approccio centrale per il controllo dei robot quando non sono disponibili dimostrazioni di esperti. I metodi on-policy come Proximal Policy Optimization (PPO) sono ampiamente usati per la loro stabilità, ma la dipendenza da dati on-policy a distribuzione ristretta limita una valutazione accurata della policy in spazi degli stati e delle azioni ad alta dimensionalità. I metodi off-policy possono superare questo limite apprendendo da una distribuzione stato-azione più ampia, ma soffrono di convergenza lenta e instabilità, poiché adattare una funzione di valore su dati eterogenei richiede molti aggiornamenti del gradiente, facendo accumulare gli errori del critic tramite il bootstrapping. Presentiamo FlashSAC, un algoritmo di RL off-policy veloce e stabile basato su Soft Actor-Critic. Ispirato dalle leggi di scala osservate nell'apprendimento supervisionato, FlashSAC riduce drasticamente gli aggiornamenti del gradiente compensando con modelli più grandi e un maggiore throughput di dati. Per mantenere la stabilità su scala maggiore, FlashSAC limita esplicitamente le norme dei pesi, delle feature e dei gradienti, contenendo l'accumulo degli errori del critic. Su oltre 60 task in 10 simulatori, FlashSAC supera costantemente PPO e solide baseline off-policy sia nelle prestazioni finali sia nell'efficienza di addestramento, con i maggiori guadagni nei task ad alta dimensionalità come la manipolazione fine. Nella locomozione umanoide sim-to-real, FlashSAC riduce il tempo di addestramento da ore a minuti, dimostrando il potenziale dell'RL off-policy per il trasferimento sim-to-real.

Link

• arXiv 2604.04539: https://arxiv.org/abs/2604.04539
• DOI 10.48550/arXiv.2604.04539: https://doi.org/10.48550/arXiv.2604.04539
• PDF: https://arxiv.org/pdf/2604.04539v1
• Pagina del progetto: https://holiday-robot.github.io/FlashSAC