Residual Reinforcement Learning

• 다른 이름: residual RL, residual policy learning
• 카테고리: Learning & autonomy › RL & simulation
• 태그: reinforcement-learning, robot-learning, manipulation, contact-rich-tasks, sim-to-real

기존 제어기나 학습된 정책의 행동에 더해지는 보정을 강화 학습으로 학습하여, 학습이 처음부터가 아니라 합리적인 행동에서 시작하게 하는 방법.

정의

잔차 강화 학습(residual reinforcement learning)은 로봇의 행동을 두 부분, 즉 기본 정책의 출력과 학습된 잔차로 나눈다. 기본 정책은 수작업으로 설계한 제어기, 궤적 추종기, 또는 모방 학습으로 학습한 정책일 수 있다. 잔차 정책은 상태를, 흔히 기본 행동과 함께 관측하고, 기본 행동에 더해지는 보정을 출력한다. 잔차만 강화 학습으로 학습하며, 기본 정책은 고정된 채로 둔다. 이 접근법은 2018년과 2019년에 두 그룹이 각각 독립적으로, residual policy learning과 로봇 제어를 위한 residual reinforcement learning이라는 이름으로 도입했다.

작동하는 기본 정책에서 출발하면 학습 문제가 유용한 방식으로 바뀐다. 잔차가 0에 가까운 학습 초기에도 로봇은 이미 합리적으로 행동하므로 탐색이 더 안전하고 보상에 도달하기 쉬운데, 이는 희소 보상 작업과 실제 하드웨어에서의 학습에 중요하다. 잔차는 제어기가 모델링하지 않는 접촉 효과, 마찰, 물체 변화처럼 기본 정책이 틀리는 부분만 학습하면 된다. 잔차 네트워크가 0을 출력하도록 초기화하고 그 크기를 제한하는 것은 초기 행동을 기본 정책에 가깝게 유지하는 흔한 방법이다.

기본 정책은 학습할 수 있는 것을 제한하기도 한다. 기본 정책이 좋은 행동과 거리가 멀면 제한된 잔차로는 이를 고치지 못할 수 있고, 제한 없는 잔차는 안전상의 이점을 포기한다. 변형들은 잔차가 원시 행동 대신 이득이나 설정점 같은 제어기 파라미터를 조정하게 하거나, 잔차를 소수의 시연으로 학습한 정책과 결합해 모방이 기본 행동을 제공하고 강화 학습이 정밀도나 강건성을 위해 이를 다듬게 한다.

중요한 이유

실제 로봇에서 순수한 강화 학습은 느리고 안전하지 않을 수 있으며, 수작업으로 설계한 제어기와 모방 정책은 거의 맞지만 접촉의 세부에서 실패하는 경우가 많다. 잔차 RL은 둘을 결합하여, 제한된 양의 실제 환경 상호작용으로 기존 제어기를 개선하는 실용적인 방법이 된다.

주요 응용

• 펙-인-홀(peg-in-hole) 삽입 같은 접촉이 많은 조립
• 모방 학습한 정책을 강화 학습으로 다듬기
• 모델링되지 않은 마찰과 동역학에 대한 모델 기반 제어기 보정
• 시뮬레이션에서 학습한 제어기를 실제 하드웨어에 적응시키기
• 스크립트 기반 기준선으로부터 파지와 손 안 조작 개선

실제 사례

한 팀이 임피던스 제어기를 사용해 꼭 맞는 구멍에 펙을 삽입한다. 제어기는 구멍까지는 안정적으로 도달하지만 작은 자세 오차와 마찰 때문에 자주 끼인다. 이들은 엔드 이펙터 자세와 손목 힘-토크 측정값을 보고 제어기의 목표 위치에 대한 작은 오프셋을 출력하는 잔차 정책을 추가하며, 그 오프셋은 좁은 범위로 잘라 낸다. 잔차는 0에서 시작하므로 첫 에피소드들은 원래 제어기처럼 동작하며, 삽입 깊이에 기반한 보상을 사용해 soft actor-critic 같은 오프폴리시 알고리즘으로 학습된다. 학습이 진행되면서 잔차는 끼인 펙을 빼내는 작은 보정 동작을 배우고, 기본 제어기는 여전히 큰 동작을 맡는다.

흔한 오해

• 잔차 RL은 기본 제어기를 다시 학습한다 — 기본 정책은 고정된 채로 있고, 더해지는 보정만 학습한다
• 어떤 기본 정책이든 괜찮다 — 잔차는 보통 제한되어 있으므로, 좋지 않은 기본 정책은 결합된 시스템이 달성할 수 있는 것을 제한한다
• 잔차 RL은 보상 설계를 필요 없게 한다 — 잔차에도 여전히 작업을 담는 보상이 필요하며, 기본 정책은 탐색을 더 쉽고 안전하게 할 뿐이다

알아야 할 사람

• 로봇 학습 연구자
• 접촉이 많은 작업을 다루는 조작 엔지니어
• 데이터로 기존 제어기를 개선하는 제어 엔지니어
• Sim-to-Real 실무자

관련 기술

• Soft Actor-Critic
• Twin Delayed DDPG (TD3)
• 임피던스 제어(Impedance Control)
• 행동 복제(Behavior Cloning)
• Proximal Policy Optimization

관련 용어

• Reinforcement Learning
• Soft Actor-Critic
• Impedance Control
• Behavior Cloning
• Sim2Real
• Inverse Reinforcement Learning

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim