FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

저자: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee · RSS 2026

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

FlashSAC는 큰 네트워크, 큰 배치, 적은 업데이트, 제한된 노름으로 Soft Actor-Critic을 안정화하여 고차원 작업에서 PPO를 능가하고 G1의 sim-to-real 학습을 몇 분으로 줄인다.

중요한 이유

오프폴리시 RL을 작업 전반에 걸쳐 단일 하이퍼파라미터 구성으로 sim-to-real 휴머노이드 제어에 사용할 수 있으며, 상태 및 행동 차원이 커질수록 PPO보다 더 잘 확장됨을 보여 준다. 학습 시간이 짧아지면 고차원 로봇과 더 느리고 사실적인 시뮬레이터에서 반복 개발하는 것이 현실적이 된다.

문제

PPO는 안정적이기 때문에 sim-to-real RL을 지배하지만, 좁은 온폴리시 데이터로 인해 정교한 손이나 휴머노이드 같은 고차원 작업에서 가치 추정이 어렵다. 오프폴리시 방법은 리플레이 버퍼의 더 넓은 데이터를 재사용하지만, 크리틱을 적합시키는 데 많은 그래디언트 업데이트가 필요하여 느리고, 특히 큰 네트워크에서는 부트스트래핑 오차가 누적된다.

제안 방법

FlashSAC는 Soft Actor-Critic을 기반으로 지도 학습의 스케일링 경향을 따른다. 병렬 환경 1024개, 최대 10M 전이의 리플레이 버퍼, 배치 크기 2048의 2.5M 파라미터 6층 네트워크를 사용하며, 새 전이 1024개당 그래디언트 업데이트는 2회뿐이다. 안정성은 가중치, 특징, 그래디언트 노름을 제한하는 데서 나온다. 역 잔차 블록, 사전 활성화 배치 정규화, 최종 RMSNorm, 적응형 보상 스케일링을 갖춘 분포형 크리틱, 단위 구면으로의 가중치 투영이다. 탐색에는 모든 로봇에 걸쳐 고정된 행동 표준편차(0.15)로 정한 하나의 엔트로피 목표와, 시간적으로 상관된 노이즈를 위한 저비용 '노이즈 반복' 기법을 사용한다.

핵심 통찰

• 오프폴리시 RL에서는 크리틱이 안정화되기만 하면, 더 큰 배치와 훨씬 적은 그래디언트 업데이트를 쓰는 더 큰 모델이 실제 소요 시간 기준으로 더 빨리 수렴한다
• 가중치, 특징, 그래디언트 노름을 제한하면 크리틱의 손실 지형이 양호한 조건을 유지한다. 구성 요소를 하나 추가할 때마다 측정된 조건수가 낮아졌다
• 리플레이 버퍼 데이터는 온폴리시 롤아웃보다 훨씬 넓은 상태-행동 영역을 포괄하며, 저자는 이를 고차원 작업에서 PPO의 약한 결과와 연결한다
• 행동 표준편차로 정의한 단일 엔트로피 목표(최적 범위 0.15-0.2)는 작업별 튜닝 없이 여러 로봇 형태에 걸쳐 작동한다
• 샘플링한 행동 노이즈를 여러 스텝에 걸쳐 반복하면 메모리 비용이 거의 없이 대규모 병렬 시뮬레이션에서 일관된 탐색이 가능하다

주요 결과

• Unitree G1(29-DoF)이 약 20분의 학습 후 하드웨어에서 평지를 걸었으며, PPO는 약 3시간이 걸렸다
• Unitree G1이 약 4시간의 학습 후 실제 15 cm 계단(학습에서 보지 못한 치수)을 올랐으며, PPO는 거의 20시간이 걸렸다
• 고차원 GPU 시뮬레이터 작업 10개(Allegro, Shadow Hand, G1, H1, Booster T1)에서 FlashSAC는 PPO보다 적은 실제 소요 시간으로 더 높은 리턴에 도달했다. PPO가 200M 스텝(약 3배의 연산)을 실행한 반면 FlashSAC는 50M이었다. 저차원 작업 15개에서는 PPO를 약간 앞섰다
• 단일 환경 CPU 작업 40개(MuJoCo, DeepMind Control, MyoSuite, HumanoidBench)에서 하나의 구성으로 대표 작업들에 대해 PPO, XQC, SimbaV2, TD-MPC2, MR.Q를 능가했다
• 비전 기반 DeepMind Control 작업 8개에서 최종 성능은 DrQ-v2 및 MR.Q와 같거나 더 높았고, 실제 소요 시간 기준으로 더 빨리 수렴했다
• 어블레이션: 리플레이 버퍼는 10M 전이까지는 결과를 개선했지만 50M에서는 학습이 느려졌다. 혼합 정밀도는 실제 소요 시간을 5-10% 줄였다

한계

• 저자는 이 연구가 상태 기반 제어에 초점을 맞추고 있으며, 크리틱 안정화 원리를 촉각 기반 학습으로 확장하는 것은 향후 과제로 남긴다고 밝힌다(별도의 한계점 섹션은 없음)
• 저차원 작업에서는 PPO 대비 이득이 작다. 상태-행동 공간이 작고 시뮬레이션이 저렴할 때는 온폴리시 방법이 여전히 효과적이다
• 매우 큰 리플레이 버퍼(50M)는 최근의 고품질 샘플이 덜 자주 추출되어 학습이 느려졌다
• sim-to-real은 로봇 하나(Unitree G1 블라인드 보행)에서만 보였으며, 거기서 FlashSAC와 PPO는 PPO에만 필요했던 종료 페널티를 포함해 서로 다른 보상 가중치를 사용했다
• 알고리즘 업데이트 시간은 설정별 대표 환경 하나에서 프로파일링하여 모든 환경에 재사용했으므로, 실제 소요 시간 합계는 추정치이다

분야에 미친 영향

RSS 2026 Outstanding Paper Award 수상작이며, 현재까지 피인용 17회이다. 저자들은 프로젝트 웹페이지를 제공하지만, 논문 자체에는 코드 링크가 없다.

초록

강화학습(RL)은 전문가 시연을 사용할 수 없을 때 로봇 제어를 위한 핵심 접근 방식이다. Proximal Policy Optimization(PPO) 같은 온폴리시 방법은 안정성 때문에 널리 사용되지만, 좁게 분포된 온폴리시 데이터에 의존하기 때문에 고차원 상태 및 행동 공간에서 정확한 정책 평가가 제한된다. 오프폴리시 방법은 더 넓은 상태-행동 분포로부터 학습하여 이 한계를 극복할 수 있지만, 다양한 데이터에 가치 함수를 적합시키려면 많은 그래디언트 업데이트가 필요하여 부트스트래핑을 통해 크리틱 오차가 누적되므로 느린 수렴과 불안정성을 겪는다. 우리는 Soft Actor-Critic을 기반으로 한 빠르고 안정적인 오프폴리시 RL 알고리즘인 FlashSAC를 제시한다. 지도 학습에서 관찰된 스케일링 법칙에서 착안하여, FlashSAC는 그래디언트 업데이트를 대폭 줄이는 대신 더 큰 모델과 더 높은 데이터 처리량으로 이를 보완한다. 확대된 규모에서 안정성을 유지하기 위해 FlashSAC는 가중치, 특징, 그래디언트 노름을 명시적으로 제한하여 크리틱 오차 누적을 억제한다. 10개 시뮬레이터의 60개 이상 작업에서 FlashSAC는 최종 성능과 학습 효율 모두에서 PPO와 강력한 오프폴리시 베이스라인을 일관되게 능가하며, 정교한 조작 같은 고차원 작업에서 가장 큰 향상을 보인다. sim-to-real 휴머노이드 보행에서 FlashSAC는 학습 시간을 몇 시간에서 몇 분으로 줄여, sim-to-real 전이를 위한 오프폴리시 RL의 가능성을 보여 준다.

링크

• arXiv 2604.04539: https://arxiv.org/abs/2604.04539
• DOI 10.48550/arXiv.2604.04539: https://doi.org/10.48550/arXiv.2604.04539
• PDF: https://arxiv.org/pdf/2604.04539v1
• 프로젝트 페이지: https://holiday-robot.github.io/FlashSAC