Do Differentiable Simulators Give Better Policy Gradients?

저자: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

정확한 시뮬레이터 그래디언트는 접촉, 강성, 카오스 아래에서 편향되거나 분산이 클 수 있다. α차 추정기는 정확도 상한 아래에서 이를 샘플링된 그래디언트와 섞는다.

중요한 이유

논문은 최소 예제(마찰, 강성 접촉, 날카로운 형상과의 충돌)를 로봇 조작 같은 접촉이 많은 작업의 추상화로 제시하며, 그러한 작업에는 이러한 특성이 필연적으로 포함된다고 주장한다. 그 결과는 미분 가능 시뮬레이터로 학습한 정책의 경우 이러한 상황에서 정확한 그래디언트가 최적화를 더 나쁜 최솟값으로 이끌 수 있으며, 접촉 강성 같은 시뮬레이터 모델링 선택이 정책 최적화에 영향을 미친다는 것을 시사한다. 저자들은 이를 1차 방법이 고전한 물리 시스템 문제를 0차 RL이 해결해 온 이유에 대한 가능한 설명으로 제시하지만, 로봇이 아닌 단순한 시뮬레이션 시스템에서만 시험한다.

문제

미분 가능 시뮬레이터는 롤아웃의 정확한 그래디언트를 제공하며, 이는 강화 학습이 보통 의존하는 0차(샘플링 기반) 그래디언트 추정을 대체할 수 있다. 접촉이 있는 물리 시스템의 제어에서 나타나는 장기 호라이즌의 매끄럽지 않은 목적 함수에서 어떤 추정기가 더 잘 작동하는지는 불분명했다.

제안 방법

저자들은 노이즈로 평활화된 정책 목적 함수에서 1차 배치 그래디언트(FoBG, 정확한 그래디언트의 평균)와 0차 배치 그래디언트(ZoBG, REINFORCE 방식)를 편향과 분산을 통해 분석한다. 이어서 둘의 가중 혼합인 α차 배치 그래디언트(AoBG)를 제안하는데, 이는 불편인 0차 추정에 가깝게 유지하는 제약 아래 분산을 최소화하도록 α를 고르며, 정확도를 보장하기에 샘플이 너무 적으면 α = 0으로 되돌아간다.

핵심 통찰

• 쿨롱 마찰이나 날카로운 충돌 형상 같은 불연속성 아래에서 1차 추정기는 편향되는 반면 0차 추정기는 불편 상태를 유지한다.
• 불연속성의 강성 있는 연속 근사는 '경험적 편향'을 일으킨다. 유한한 샘플에서 1차 추정은 경험적 분산이 낮지만 실제 그래디언트와는 거리가 멀어서, 경험적 분산만으로는 문제를 감지할 수 없다.
• 편향이 없어도 강성 접촉이나 카오스 동역학 아래에서는 1차 추정이 0차 추정보다 분산이 클 수 있다. 0차 추정의 분산은 호라이즌과 상태 차원의 곱에 비례하지만 도함수의 크기에는 비례하지 않기 때문이다.
• 두 추정기의 편향과 분산은 단지 수렴 속도의 차이뿐 아니라 서로 다른 국소 최솟값으로 이어진다.
• 이전 연구에서처럼 최소 경험적 분산으로 보간하면 불연속성 근처에서 크게 부정확할 수 있다. 정확도 제약을 추가하면 이 문제가 해결된다.

주요 결과

• 미끄럼 허용치 ν를 갖는 쿨롱 마찰의 구간별 선형 완화에서, 1차 추정은 (c_σν, c_σ, 0) 경험적 편향을 가지며 ν → 0일 때 분산이 1/ν로 스케일링된다(c_σ = 1/(√(2π)σ)). ν = 0에서는 분산이 0이면서 기댓값 측면에서 편향된다.
• 0차 추정의 분산은 B_V²B_π²·Hn/(Nσ²)로 상한이 정해지며, 호라이즌 H와 상태 차원 n에 비례하지만 도함수 크기에는 비례하지 않는다(Lemma 3.10).
• 페널티 방식 접촉을 사용한 블록 밀기, 호라이즌 H = 200: 부드러운 스프링(k = 10)에서는 1차 추정기가 0차 추정기보다 나았고, 강한 스프링(k = 1000)에서는 0차 추정기가 이겼으며, α차 추정기는 각 경우에서 둘 중 더 나은 쪽과 같은 성능을 보였다.
• d = 21개 파라미터의 선형 피드백 정책과 H = 200의 테니스(브레이크아웃 유사 패들): 0차와 α차 추정기는 다양한 초기 조건에서 공을 튕겨 내는 정책을 찾았고, 1차 추정기는 여전히 많은 공을 놓쳤으며, α차 추정기는 0차 추정기보다 약간 더 빨리 수렴했다.
• 벽과 공 예제와 운동량 전달 예제에서 1차 추정기는 평평한 영역에서 정체되거나 절벽 너머 비용이 높은 영역으로 밀려났고, 0차와 α차 추정기는 더 좋은 최솟값에 도달했다.
• 이중 진자에서는 호라이즌이 길어질수록 1차 추정기의 분산이 0차 추정기의 분산을 넘어섰다.

한계

• 최적화 기반 암시적 시간 적분에 기반한 시뮬레이터(MuJoCo, PyBullet, 준정적 기법 등)는 실험적으로 연구되지 않았다. 저자들은 거기서도 기하학적 불연속성이 여전히 문제로 남을 것으로 예상하며 이를 향후 과제로 남긴다.
• 모든 시연은 PyTorch로 작성된 단순한 수치 예제(공, 벽, 피벗 막대, 밀리는 블록, 미끄러지는 상자, 이중 진자, 패들)이다. 로봇, 로봇 모델, 로봇 학습 벤치마크는 사용되지 않는다.
• 강성 접촉의 분산 문제는 고정된 시간 간격에서 반암시적 적분이 불안정해지기 전까지만 성립한다. 시간 간격을 줄이면 도움이 되지만 계산 시간이 늘어난다.
• 정확도 제약에는 가치 함수와 정책 야코비안에 대한 사전 상한이 필요하며, 두 추정기에 독립적인 궤적을 사용한다. 샘플이 상한을 충족하기에 너무 적으면 방법은 0차 추정으로 되돌아간다.
• 분석은 행동에 주입되는 가우시안 노이즈를 가정하며, 이는 목적 함수의 평활화로 취급된다.

분야에 미친 영향

ICML 2022 Outstanding Paper Award 수상작이며, 166회 인용되었다. 논문은 코드나 데이터의 공개를 밝히지 않는다.

초록

미분 가능 시뮬레이터는 확률적 목적 함수의 0차 그래디언트 추정을 1차 그래디언트 기반 추정으로 대체함으로써 강화 학습의 계산 시간을 단축할 것으로 기대된다. 그러나 이 질문이 미분 가능 시뮬레이터의 유용성에 매우 중요함에도, 물리 시스템에서의 장기 호라이즌 계획과 제어를 포함하는 복잡한 지형에서 두 추정기의 성능을 결정하는 요인이 무엇인지는 아직 불분명하다. 우리는 강성이나 불연속성 같은 특정 물리 시스템의 특성이 1차 추정기의 효과를 떨어뜨릴 수 있음을 보이고, 이 현상을 편향과 분산의 관점에서 분석한다. 또한 α ∈ [0, 1]인 α차 그래디언트 추정기를 제안하는데, 이는 정확한 그래디언트를 올바르게 활용하여 1차 추정의 효율성과 0차 방법의 강인성을 결합한다. 몇 가지 수치 예제에서 기존 추정기의 함정과 α차 추정기의 장점을 보인다.

링크

• arXiv 2202.00817: https://arxiv.org/abs/2202.00817
• DOI 10.48550/arXiv.2202.00817: https://doi.org/10.48550/arXiv.2202.00817
• PDF: https://arxiv.org/pdf/2202.00817v1