Asymmetric Actor-Critic

• 다른 이름: asymmetric critic, privileged critic
• 카테고리: Learning & autonomy › RL & simulation
• 태그: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

크리틱은 특권적인 시뮬레이터 상태로 학습되고, 액터는 실제 로봇이 갖게 될 관측만 사용하는 액터-크리틱 강화 학습 구성.

정의

비대칭 액터-크리틱(asymmetric actor-critic)은 학습 환경이 배치될 로봇보다 더 많은 것을 알 때, 액터-크리틱 강화 학습 알고리즘으로 정책을 학습하는 방법이다. 배치되는 정책이 되는 액터는 카메라 이미지, 관절 인코더, 노이즈가 섞인 물체 자세 추정 같은 현실적인 관측만 받는다. 상태의 가치를 추정하고 학습 중 정책 경사의 분산을 줄이기 위해서만 존재하는 크리틱에는 추가적인 특권 정보가 주어진다. 정확한 물체 자세와 속도, 접촉력, 마찰 계수, 그리고 그 밖의 시뮬레이터 상태가 그것이다. Pinto와 동료들은 2018년 이미지 기반 로봇 학습을 위해 이 용어를 도입했으며, 거기서 액터는 이미지를, 크리틱은 전체 상태를 보았다.

이 아이디어가 통하는 것은 학습이 끝나면 크리틱을 버리기 때문이다. 크리틱이 사용하는 어떤 것도 실제 로봇에서 측정할 필요가 없으므로, 가치 추정을 가장 쉽게 만드는 것이라면 무엇이든 줄 수 있다. 전체 상태를 가진 크리틱은 부분 관측으로부터 숨겨진 양을 추론해야 하는 크리틱보다 더 빠르고 정확하게 학습하며, 이는 액터에게 더 나은 학습 신호를 준다. 이 접근법은 Isaac Gym에서 손안 방향 바꾸기(in-hand reorientation)에 쓰인 PPO 같은 온폴리시(on-policy) 방법, 그리고 DDPG나 SAC 같은 오프폴리시(off-policy) 방법과 자연스럽게 어울린다.

비대칭 액터-크리틱은 교사-학생 학습(teacher-student training)과 다르다. 교사-학생 학습에서는 별도의 교사 정책을 먼저 특권 입력으로 학습한 다음, 실제 관측만 보는 학생으로 증류한다. 비대칭 액터-크리틱에서는 현실적인 입력에 대해 강화 학습으로 직접 학습되는 정책이 하나뿐이며, 특권을 갖는 것은 가치 함수뿐이다. 두 방법은 흔히 함께 쓰인다. 한 가지 미묘한 점은, 부분 관측 가능성 아래에서 실제 상태에만 조건화된 크리틱은 관측 이력에 따라 행동하는 정책에 대해 편향된 가치 추정을 낼 수 있다는 것이다. 그래서 많은 구현에서는 크리틱에 특권 상태와 액터의 관측을 모두 입력한다.

중요한 이유

Sim-to-Real 강화 학습에는 실제 센서로 실행되는 정책이 필요하지만, 부분적이고 노이즈가 섞인 관측으로부터 학습하는 것은 느리고 불안정하다. 크리틱에 특권적인 시뮬레이터 상태를 주는 것은 표준 알고리즘에 대한 저렴한 변경으로, 배치된 로봇이 측정해야 할 것을 하나도 더하지 않으면서 학습을 훨씬 빠르고 신뢰성 있게 만드는 경우가 많다.

주요 응용

• 손재주 있는 로봇 손을 이용한 손안 물체 방향 바꾸기
• 시뮬레이션에서 학습한 이미지 기반 조작 정책
• 특권 지형 정보와 접촉 정보로 학습한 다리 보행 정책
• GPU 병렬 시뮬레이터를 이용한 Sim-to-Real 강화 학습
• 시뮬레이터가 숨겨진 상태를 노출하는 부분 관측 제어 작업

실제 사례

한 팀은 GPU 시뮬레이터에서 PPO로 다지 손이 물체의 방향을 바꾸도록 학습시킨다. 액터 네트워크는 손가락 끝 위치, 관절 각도, 그리고 노이즈와 지연을 더한 물체 자세 추정을 받는데, 이는 하드웨어에서 카메라 기반 자세 추적기가 제공할 것과 일치한다. 크리틱 네트워크는 같은 입력에 더해 정확한 물체 자세, 선속도와 각속도, 목표 방향, 그리고 그 환경에 대해 무작위화된 마찰 값과 질량 값을 받는다. 두 네트워크는 같은 롤아웃을 공유하며 함께 업데이트된다. 배치 시에는 액터의 가중치만 로봇 컴퓨터로 내보내며, 크리틱과 시뮬레이터 전용 입력은 다시는 필요하지 않다.

흔한 오해

• 배치된 정책이 특권 상태를 사용한다 — 학습 중에 그것을 보는 것은 크리틱뿐이며, 크리틱은 배치 시점에 버려진다
• 교사-학생 학습과 같다 — 교사-학생 학습은 특권 정책을 학습해 증류하는 반면, 비대칭 액터-크리틱은 특권 가치 함수를 사용해 현실적인 정책 하나를 직접 학습한다
• 상태만 보는 크리틱은 언제나 옳다 — 부분 관측 가능성 아래에서는 관측 기반 액터에 대한 가치 추정을 편향시킬 수 있으며, 그래서 크리틱에 액터의 관측도 함께 주는 경우가 많다

알아야 할 사람

• Sim-to-Real 전이를 다루는 강화 학습 엔지니어
• 정교한 조작(dexterous manipulation) 연구자
• 시뮬레이션에서 정책을 학습하는 다리 보행 개발자
• 학습용 관측 공간을 설계하는 시뮬레이션 엔지니어

관련 기술

• Proximal Policy Optimization
• Isaac Gym
• 특권 학습(Privileged Learning)
• 도메인 무작위화(Domain Randomization)
• Soft Actor-Critic

관련 용어

• Teacher-Student Training
• Proximal Policy Optimization
• Reinforcement Learning
• Sim2Real
• Partially Observable Markov Decision Process (POMDP)
• Domain Randomization

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim