FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

Autores: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O FlashSAC estabiliza o Soft Actor-Critic com redes grandes, lotes grandes, poucas atualizações e normas limitadas, supera o PPO em tarefas de alta dimensão e reduz a minutos o treinamento sim-to-real do G1.

Por que importa

Mostra que o RL off-policy pode ser usado no controle sim-to-real de humanoides com uma única configuração de hiperparâmetros para todas as tarefas, e que escala melhor que o PPO à medida que as dimensões de estados e ações crescem. Tempos de treinamento mais curtos tornam prático iterar com robôs de alta dimensão e com simuladores mais lentos e realistas.

Problema

O PPO domina o RL sim-to-real porque é estável, mas seus dados on-policy estreitos dificultam a estimativa de valor em tarefas de alta dimensão, como mãos destras e humanoides. Métodos off-policy reutilizam dados mais amplos de um replay buffer, mas ajustar o crítico exige muitas atualizações de gradiente, o que é lento e deixa os erros de bootstrapping se acumularem, sobretudo com redes maiores.

Solução proposta

O FlashSAC se baseia no Soft Actor-Critic e segue as tendências de escala do aprendizado supervisionado: 1.024 ambientes paralelos, um replay buffer de até 10M transições, uma rede de 6 camadas com 2,5M parâmetros e tamanho de lote 2.048, e apenas 2 atualizações de gradiente a cada 1.024 novas transições. A estabilidade vem da limitação das normas dos pesos, das características e dos gradientes: blocos residuais invertidos, normalização em lote antes da ativação, uma RMSNorm final, um crítico distribucional com escalonamento adaptativo da recompensa e projeção dos pesos sobre a esfera unitária. A exploração usa um único alvo de entropia definido por um desvio padrão fixo da ação (0,15) para todos os robôs, mais um esquema barato de 'repetição de ruído' para obter ruído correlacionado no tempo.

Principais ideias

No RL off-policy, modelos maiores com lotes maiores e muito menos atualizações de gradiente convergem mais rápido em tempo de relógio, desde que o crítico esteja estabilizado
Limitar as normas dos pesos, das características e dos gradientes mantém bem condicionada a paisagem de perda do crítico; cada componente acrescentado reduziu o número de condição medido
Os dados do replay buffer cobrem uma região de estados e ações muito mais ampla do que as execuções on-policy, o que os autores associam aos resultados mais fracos do PPO em tarefas de alta dimensão
Um único alvo de entropia definido pelo desvio padrão da ação (melhor faixa 0,15-0,2) funciona entre corporificações sem ajuste por tarefa
Repetir o ruído de ação amostrado por vários passos dá uma exploração coerente em simulação massivamente paralela com custo de memória quase nulo

Principais resultados

Unitree G1 (29-DoF) andando em terreno plano em hardware após cerca de 20 minutos de treinamento, contra cerca de 3 horas com PPO
O Unitree G1 subiu escadas reais de 15 cm (dimensões não vistas no treinamento) após cerca de 4 horas de treinamento, contra quase 20 horas com PPO
Em 10 tarefas de alta dimensão em simuladores em GPU (Allegro, Shadow Hand, G1, H1, Booster T1), o FlashSAC alcançou retornos maiores com menos tempo de relógio que o PPO, embora o PPO tenha rodado 200M passos (cerca de 3x a computação) contra 50M do FlashSAC; em 15 tarefas de baixa dimensão superou ligeiramente o PPO
Em 40 tarefas em CPU com ambiente único (MuJoCo, DeepMind Control, MyoSuite, HumanoidBench), superou PPO, XQC, SimbaV2, TD-MPC2 e MR.Q em tarefas representativas com uma única configuração
Em 8 tarefas do DeepMind Control baseadas em visão, igualou ou superou DrQ-v2 e MR.Q no desempenho final, convergindo mais rápido em tempo de relógio
Ablações: replay buffers de até 10M transições melhoraram os resultados, enquanto 50M desaceleraram o aprendizado; a precisão mista reduziu o tempo de relógio em 5-10 %

Limitações

Os autores observam que o trabalho se concentra no controle baseado em estado e deixam para trabalhos futuros a extensão dos princípios de estabilização do crítico ao aprendizado baseado em tato (não há uma seção dedicada às limitações)
Em tarefas de baixa dimensão o ganho sobre o PPO é pequeno: métodos on-policy continuam eficazes quando os espaços de estados e ações são pequenos e a simulação é barata
Replay buffers muito grandes (50M) desaceleraram o aprendizado porque as amostras recentes de alta qualidade são sorteadas com menos frequência
O sim-to-real foi mostrado em um único robô (locomoção cega do Unitree G1), e FlashSAC e PPO usaram ali pesos de recompensa diferentes, incluindo uma penalidade de término de que só o PPO precisava
O tempo de atualização do algoritmo foi medido em um ambiente representativo por configuração e reutilizado para todos os ambientes, então os totais de tempo de relógio são estimativas

Impacto na área

Vencedor do RSS 2026 Outstanding Paper Award; 17 citações até agora. Os autores disponibilizam uma página do projeto; o artigo em si não traz link para o código.

Resumo

O aprendizado por reforço (RL) é uma abordagem central para o controle de robôs quando não há demonstrações de especialistas disponíveis. Métodos on-policy como o Proximal Policy Optimization (PPO) são amplamente usados por sua estabilidade, mas sua dependência de dados on-policy com distribuição estreita limita a avaliação precisa da política em espaços de estados e ações de alta dimensão. Métodos off-policy podem superar essa limitação aprendendo a partir de uma distribuição de estados e ações mais ampla, mas sofrem com convergência lenta e instabilidade, pois ajustar uma função de valor sobre dados diversos exige muitas atualizações de gradiente, fazendo com que os erros do crítico se acumulem por meio do bootstrapping. Apresentamos o FlashSAC, um algoritmo de RL off-policy rápido e estável construído sobre o Soft Actor-Critic. Motivado pelas leis de escala observadas no aprendizado supervisionado, o FlashSAC reduz drasticamente as atualizações de gradiente e compensa com modelos maiores e maior vazão de dados. Para manter a estabilidade em maior escala, o FlashSAC limita explicitamente as normas dos pesos, das características e dos gradientes, contendo o acúmulo de erros do crítico. Em mais de 60 tarefas em 10 simuladores, o FlashSAC supera consistentemente o PPO e fortes linhas de base off-policy tanto no desempenho final quanto na eficiência de treinamento, com os maiores ganhos em tarefas de alta dimensão, como a manipulação destra. Na locomoção humanoide sim-to-real, o FlashSAC reduz o tempo de treinamento de horas para minutos, demonstrando o potencial do RL off-policy para a transferência sim-to-real.

Open Source Robotics