FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

Autores: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

FlashSAC estabiliza Soft Actor-Critic con redes grandes, lotes grandes, pocas actualizaciones y normas acotadas, supera a PPO en tareas de alta dimensión y reduce a minutos el entrenamiento sim-to-real del G1.

Por qué importa

Muestra que el RL off-policy puede usarse para el control sim-to-real de humanoides con una única configuración de hiperparámetros para todas las tareas, y que escala mejor que PPO a medida que crecen las dimensiones de estados y acciones. Unos tiempos de entrenamiento más cortos hacen práctico iterar con robots de alta dimensión y con simuladores más lentos y realistas.

Problema

PPO domina el RL sim-to-real porque es estable, pero sus datos on-policy estrechos dificultan la estimación del valor en tareas de alta dimensión como las manos diestras y los humanoides. Los métodos off-policy reutilizan datos más amplios de un replay buffer, pero ajustar el crítico requiere muchas actualizaciones de gradiente, lo que es lento y deja que los errores de bootstrapping se acumulen, sobre todo con redes más grandes.

Solución propuesta

FlashSAC se basa en Soft Actor-Critic y sigue las tendencias de escalado del aprendizaje supervisado: 1024 entornos en paralelo, un replay buffer de hasta 10M transiciones, una red de 6 capas y 2,5M parámetros con tamaño de lote 2048 y solo 2 actualizaciones de gradiente por cada 1024 transiciones nuevas. La estabilidad se obtiene acotando las normas de los pesos, de las características y de los gradientes: bloques residuales invertidos, normalización por lotes previa a la activación, una RMSNorm final, un crítico distribucional con escalado adaptativo de la recompensa y proyección de los pesos sobre la esfera unidad. La exploración usa un único objetivo de entropía fijado por una desviación estándar de la acción fija (0,15) para todos los robots, más un esquema barato de 'repetición del ruido' para obtener ruido correlacionado en el tiempo.

Ideas clave

• En el RL off-policy, los modelos más grandes con lotes más grandes y muchas menos actualizaciones de gradiente convergen más rápido en tiempo real, siempre que el crítico esté estabilizado
• Acotar las normas de los pesos, de las características y de los gradientes mantiene bien condicionado el paisaje de pérdida del crítico; cada componente añadido redujo el número de condición medido
• Los datos del replay buffer cubren una región de estados y acciones mucho más amplia que las ejecuciones on-policy, lo que los autores relacionan con los peores resultados de PPO en tareas de alta dimensión
• Un único objetivo de entropía definido por la desviación estándar de la acción (mejor rango 0,15-0,2) funciona en distintas encarnaciones sin ajuste por tarea
• Repetir el ruido de acción muestreado durante varios pasos da una exploración coherente en simulación masivamente paralela con un coste de memoria casi nulo

Resultados principales

• Unitree G1 (29-DoF) caminando sobre suelo plano en hardware tras unos 20 minutos de entrenamiento, frente a unas 3 horas con PPO
• El Unitree G1 subió escaleras reales de 15 cm (dimensiones no vistas en el entrenamiento) tras unas 4 horas de entrenamiento, frente a casi 20 horas con PPO
• En 10 tareas de alta dimensión en simuladores en GPU (Allegro, Shadow Hand, G1, H1, Booster T1), FlashSAC alcanzó retornos más altos con menos tiempo real que PPO, aunque PPO se ejecutó durante 200M pasos (unas 3x el cómputo) frente a los 50M de FlashSAC; en 15 tareas de baja dimensión superó ligeramente a PPO
• En 40 tareas en CPU con un solo entorno (MuJoCo, DeepMind Control, MyoSuite, HumanoidBench) superó a PPO, XQC, SimbaV2, TD-MPC2 y MR.Q en tareas representativas con una sola configuración
• En 8 tareas de DeepMind Control basadas en visión igualó o superó a DrQ-v2 y MR.Q en rendimiento final, convergiendo más rápido en tiempo real
• Ablaciones: replay buffers de hasta 10M transiciones mejoraron los resultados, mientras que 50M ralentizaron el aprendizaje; la precisión mixta redujo el tiempo real un 5-10 %

Limitaciones

• Los autores señalan que el trabajo se centra en el control basado en el estado y dejan para trabajo futuro la extensión de los principios de estabilización del crítico al aprendizaje basado en el tacto (no hay una sección dedicada a las limitaciones)
• En tareas de baja dimensión la ganancia sobre PPO es pequeña: los métodos on-policy siguen siendo eficaces cuando los espacios de estados y acciones son pequeños y la simulación es barata
• Los replay buffers muy grandes (50M) ralentizaron el aprendizaje porque las muestras recientes de alta calidad se extraen con menos frecuencia
• El sim-to-real se mostró en un solo robot (locomoción ciega del Unitree G1), y FlashSAC y PPO usaron allí pesos de recompensa distintos, incluida una penalización por terminación que solo necesitaba PPO
• El tiempo de actualización del algoritmo se midió en un entorno representativo por configuración y se reutilizó para todos los entornos, por lo que los totales de tiempo real son estimaciones

Impacto en el campo

Ganador del RSS 2026 Outstanding Paper Award; 17 citas hasta ahora. Los autores ofrecen una página web del proyecto; el artículo en sí no da un enlace al código.

Resumen

El aprendizaje por refuerzo (RL) es un enfoque central para el control de robots cuando no se dispone de demostraciones expertas. Los métodos on-policy como Proximal Policy Optimization (PPO) se usan ampliamente por su estabilidad, pero su dependencia de datos on-policy con una distribución estrecha limita la evaluación precisa de la política en espacios de estados y acciones de alta dimensión. Los métodos off-policy pueden superar esta limitación aprendiendo de una distribución de estados y acciones más amplia, pero sufren una convergencia lenta e inestabilidad, ya que ajustar una función de valor sobre datos diversos requiere muchas actualizaciones de gradiente, lo que hace que los errores del crítico se acumulen a través del bootstrapping. Presentamos FlashSAC, un algoritmo de RL off-policy rápido y estable basado en Soft Actor-Critic. Motivado por las leyes de escalado observadas en el aprendizaje supervisado, FlashSAC reduce drásticamente las actualizaciones de gradiente y lo compensa con modelos más grandes y un mayor rendimiento de datos. Para mantener la estabilidad a mayor escala, FlashSAC acota explícitamente las normas de los pesos, de las características y de los gradientes, frenando la acumulación de errores del crítico. En más de 60 tareas en 10 simuladores, FlashSAC supera de forma consistente a PPO y a sólidas líneas base off-policy tanto en rendimiento final como en eficiencia de entrenamiento, con las mayores ganancias en tareas de alta dimensión como la manipulación diestra. En la locomoción humanoide sim-to-real, FlashSAC reduce el tiempo de entrenamiento de horas a minutos, lo que demuestra el potencial del RL off-policy para la transferencia sim-to-real.

Enlaces

• arXiv 2604.04539: https://arxiv.org/abs/2604.04539
• DOI 10.48550/arXiv.2604.04539: https://doi.org/10.48550/arXiv.2604.04539
• PDF: https://arxiv.org/pdf/2604.04539v1
• Página del proyecto: https://holiday-robot.github.io/FlashSAC