FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

Auteurs: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

FlashSAC stabilise Soft Actor-Critic avec de grands réseaux, de grands batchs, peu de mises à jour et des normes bornées, bat PPO sur les tâches de grande dimension et ramène l'entraînement sim-to-real du G1 à quelques minutes.

Pourquoi c'est important

Il montre que le RL off-policy peut servir à la commande humanoïde sim-to-real avec une seule configuration d'hyperparamètres pour toutes les tâches, et qu'il passe mieux à l'échelle que PPO à mesure que les dimensions des états et des actions augmentent. Des temps d'entraînement plus courts rendent praticable l'itération sur des robots de grande dimension et sur des simulateurs plus lents et plus réalistes.

Problème

PPO domine le RL sim-to-real parce qu'il est stable, mais ses données on-policy étroites rendent l'estimation de la valeur difficile dans des tâches de grande dimension comme les mains dextres et les humanoïdes. Les méthodes off-policy réutilisent des données plus larges issues d'un replay buffer, mais l'ajustement du critique nécessite de nombreuses mises à jour de gradient, ce qui est lent et laisse les erreurs de bootstrapping s'amplifier, en particulier avec des réseaux plus grands.

Solution proposée

FlashSAC s'appuie sur Soft Actor-Critic et suit les tendances d'échelle de l'apprentissage supervisé : 1024 environnements parallèles, un replay buffer jusqu'à 10M transitions, un réseau à 6 couches de 2,5M paramètres avec une taille de batch de 2048, et seulement 2 mises à jour de gradient pour 1024 nouvelles transitions. La stabilité vient du bornage des normes des poids, des caractéristiques et des gradients : blocs résiduels inversés, normalisation par batch en pré-activation, un RMSNorm final, un critique distributionnel avec mise à l'échelle adaptative de la récompense et projection des poids sur la sphère unité. L'exploration utilise une seule cible d'entropie fixée par un écart-type d'action constant (0,15) pour tous les robots, plus un schéma peu coûteux de 'répétition du bruit' pour un bruit corrélé dans le temps.

Idées clés

• En RL off-policy, des modèles plus grands avec de plus grands batchs et beaucoup moins de mises à jour de gradient convergent plus vite en temps réel, à condition que le critique soit stabilisé
• Borner les normes des poids, des caractéristiques et des gradients maintient le paysage de perte du critique bien conditionné ; chaque composant ajouté a réduit le nombre de conditionnement mesuré
• Les données du replay buffer couvrent une région état-action bien plus large que les rollouts on-policy, ce que les auteurs relient aux résultats plus faibles de PPO sur les tâches de grande dimension
• Une cible d'entropie unique définie par l'écart-type des actions (meilleure plage 0,15-0,2) fonctionne pour diverses incarnations sans réglage par tâche
• Répéter le bruit d'action échantillonné sur plusieurs pas donne une exploration cohérente en simulation massivement parallèle, pour un coût mémoire quasi nul

Principaux résultats

• Unitree G1 (29-DoF) marchant sur sol plat sur matériel après environ 20 minutes d'entraînement, contre environ 3 heures pour PPO
• Le Unitree G1 a gravi de vraies marches de 15 cm (dimensions non vues à l'entraînement) après environ 4 heures d'entraînement, contre près de 20 heures pour PPO
• Sur 10 tâches de grande dimension en simulateur GPU (Allegro, Shadow Hand, G1, H1, Booster T1), FlashSAC a atteint des retours plus élevés en moins de temps réel que PPO, alors même que PPO a effectué 200M pas (environ 3x le calcul) contre 50M pour FlashSAC ; sur 15 tâches de faible dimension, il a légèrement surpassé PPO
• Sur 40 tâches CPU à environnement unique (MuJoCo, DeepMind Control, MyoSuite, HumanoidBench), il a surpassé PPO, XQC, SimbaV2, TD-MPC2 et MR.Q sur des tâches représentatives avec une seule configuration
• Sur 8 tâches DeepMind Control fondées sur la vision, il a égalé ou dépassé DrQ-v2 et MR.Q en performance finale tout en convergeant plus vite en temps réel
• Ablations : des replay buffers jusqu'à 10M transitions ont amélioré les résultats, tandis que 50M ont ralenti l'apprentissage ; la précision mixte a réduit le temps réel de 5-10 %

Limites

• Les auteurs notent que le travail porte sur la commande à partir de l'état et laissent à des travaux futurs l'extension des principes de stabilisation du critique à l'apprentissage tactile (pas de section dédiée aux limites)
• Sur les tâches de faible dimension, le gain par rapport à PPO est faible : les méthodes on-policy restent efficaces lorsque les espaces état-action sont petits et la simulation peu coûteuse
• De très grands replay buffers (50M) ont ralenti l'apprentissage, car les échantillons récents de haute qualité sont tirés moins souvent
• Le sim-to-real a été montré sur un seul robot (locomotion aveugle du Unitree G1), et FlashSAC et PPO y utilisaient des poids de récompense différents, dont une pénalité de terminaison nécessaire seulement à PPO
• Le temps de mise à jour de l'algorithme a été mesuré sur un environnement représentatif par configuration puis réutilisé pour tous les environnements ; les totaux en temps réel sont donc des estimations

Impact sur le domaine

Lauréat du RSS 2026 Outstanding Paper Award ; 17 citations à ce jour. Les auteurs fournissent une page web de projet ; l'article lui-même ne donne pas de lien vers le code.

Résumé

L'apprentissage par renforcement (RL) est une approche centrale de la commande robotique lorsque des démonstrations d'experts ne sont pas disponibles. Les méthodes on-policy comme Proximal Policy Optimization (PPO) sont largement utilisées pour leur stabilité, mais leur dépendance à des données on-policy étroitement distribuées limite l'évaluation précise des politiques dans des espaces d'états et d'actions de grande dimension. Les méthodes off-policy peuvent surmonter cette limite en apprenant à partir d'une distribution état-action plus large, mais souffrent d'une convergence lente et d'instabilité, car l'ajustement d'une fonction de valeur sur des données diverses requiert de nombreuses mises à jour de gradient, ce qui fait s'accumuler les erreurs du critique par bootstrapping. Nous présentons FlashSAC, un algorithme de RL off-policy rapide et stable fondé sur Soft Actor-Critic. S'inspirant des lois d'échelle observées en apprentissage supervisé, FlashSAC réduit fortement les mises à jour de gradient tout en compensant par des modèles plus grands et un débit de données plus élevé. Pour maintenir la stabilité à plus grande échelle, FlashSAC borne explicitement les normes des poids, des caractéristiques et des gradients, freinant l'accumulation des erreurs du critique. Sur plus de 60 tâches dans 10 simulateurs, FlashSAC surpasse systématiquement PPO et de solides références off-policy, tant en performance finale qu'en efficacité d'entraînement, avec les gains les plus importants sur des tâches de grande dimension comme la manipulation dextre. En locomotion humanoïde sim-to-real, FlashSAC réduit le temps d'entraînement de plusieurs heures à quelques minutes, démontrant le potentiel du RL off-policy pour le transfert sim-to-real.

Liens

• arXiv 2604.04539: https://arxiv.org/abs/2604.04539
• DOI 10.48550/arXiv.2604.04539: https://doi.org/10.48550/arXiv.2604.04539
• PDF: https://arxiv.org/pdf/2604.04539v1
• Page du projet: https://holiday-robot.github.io/FlashSAC