Reward Shaping
- 카테고리: Learning & autonomy › RL & simulation
- 태그: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation
에이전트가 처음 목표에 도달하기 전에 유용한 피드백을 받도록 강화 학습 보상에 추가 항을 더하는 것으로, 이상적으로는 어떤 행동이 최적인지를 바꾸지 않는다.
정의
보상 형성(reward shaping)은 학습을 쉽게 하기 위해 강화 학습 문제의 보상 함수를 수정하는 것이다. 많은 로봇 작업의 자연스러운 보상은 희소하다. 에이전트는 서랍이 열리거나 페그가 삽입되었을 때만 신호를 받는다. 무작위 탐색으로는 로봇이 그 상태에 거의 도달하지 못할 수 있으므로 학습 신호를 거의 받지 못한다. 보상 형성은 그리퍼에서 손잡이까지 거리의 음수, 안정적인 파지에 대한 보너스, 하위 목표 순서에 따른 진행도 같은 중간 항을 더해, 에이전트가 처음 성공하기 훨씬 전부터 피드백을 받게 한다.
위험은 형성된 보상이 작업 자체를 바꾼다는 점이다. 그리퍼의 근접성으로 보상받는 로봇은 손잡이를 당기지 않고 그 근처에 머무는 법을 배울 수 있고, 전진 속도에 대한 보상은 시뮬레이터의 결함을 악용하는 보행을 낳을 수 있다. Ng, Harada, Russell(1999)은 상태 위에서 정의된 포텐셜 함수 Φ에 대해 F(s, s′) = γΦ(s′) − Φ(s)라는 특정 형태의 형성 항이 원래 문제의 최적 정책을 바꾸지 않음을 보였다. 이를 포텐셜 기반 보상 형성이라고 한다. 이런 항 아래에서는 상태들의 순환을 거치며 모은 보상의 합이 0이 되므로, 에이전트는 작업을 진척시키지 않는 루프로 이득을 볼 수 없다. 이 형태가 아닌 항은 최적 정책을 바꿀 수 있다. 추가 항이 부드러운 운동이나 낮은 에너지 사용 같은 실제 선호를 표현할 때는 그것이 의도된 것이기도 하지만, 그렇다면 의도적인 선택이어야 한다.
로봇공학 실무에서 보행과 조작을 위한 보상은 가중치가 붙은 많은 항을 결합하는 경우가 많으며, 그 가중치를 조정하는 데 엔지니어링 노력의 큰 부분이 들어간다. 보완책과 대안으로는 커리큘럼 학습, 목표의 사후 재레이블링, 시연으로부터의 학습, 역강화 학습, 그리고 학습된 시각 표현으로 계산한 보상이 있다. 마지막 것의 예로는 하위 목표 이미지를 향한 진행도 추정치가 있다. 이 방법들은 수작업 보상 설계를 줄여 주지만 고유한 실패 양상을 가져온다.
중요한 이유
로봇 학습 작업이 수렴하기라도 하는지는 보상에 달린 경우가 많다. 대부분의 시뮬레이션 보행 및 조작 정책은 보상 형성으로 학습 가능해지며, 잘못 형성된 보상은 학습 중에는 높은 점수를 얻지만 의도한 작업은 수행하지 못하는 정책이 생기는 흔한 원인이다.
주요 응용
- 작업 성공이 희소할 때 조작 정책 학습
- 속도 추종, 자세, 에너지 항을 결합한 다리 보행 보상
- 진행도 보상과 함께 하위 목표로 나눈 장기 작업
- 목표까지 거리 항을 사용한 내비게이션
- 시뮬레이션에서 학습하는 손 안 정교 조작
실제 사례
한 팀이 캐비닛 서랍을 여는 정책을 시뮬레이션에서 학습시킨다. 서랍이 열렸을 때만 보상을 주자 학습이 전혀 진척되지 않는다. 팀은 그리퍼에서 손잡이까지 거리의 음수 항, 손잡이를 잡을 때마다 주는 보너스, 서랍이 열린 정도에 비례하는 항을 추가한다. 정책은 곧 손을 뻗어 잡는 법을 배우지만 그 후 정체된다. 손잡이를 놓았다가 다시 잡으면 파지 보너스를 계속해서 다시 받기 때문이다. 팀은 보너스를 포텐셜 기반 항으로 바꾼다. 이 항은 서랍이 열릴수록, 그리고 그리퍼가 손잡이에 가까워질수록 커지는 포텐셜의 스텝 간 변화량이므로, 상태 사이를 순환해도 전체적으로는 아무것도 얻지 못한다. 또한 더 부드러운 운동을 위해 관절 속도에 작은 페널티를 더한다. 팀은 최종 정책을 형성된 리턴이 아니라 희소한 성공 기준으로 평가한다.
흔한 오해
- 추가한 보상 항이 목표 쪽을 가리키기만 하면 무해하다 — 포텐셜 기반이 아닌 항은 최적 정책을 바꿀 수 있고 보상 해킹을 부를 수 있다
- 형성된 리턴이 높을수록 더 좋은 정책이다 — 정책이 의도한 일을 하는지는 실제 작업 목표에서의 성능만이 보여 준다
- 포텐셜 기반 보상 형성은 항상 학습을 빠르게 한다 — 최적 정책은 보존하지만, 잘못 고른 포텐셜은 여전히 탐색을 늦출 수 있다
- 보상 형성과 커리큘럼 학습은 같은 것이다 — 보상 형성은 보상을 바꾸고, 커리큘럼은 작업과 환경의 순서나 난이도를 바꾼다
알아야 할 사람
- 로봇 정책을 학습시키는 강화 학습 엔지니어
- 시뮬레이션에서 일하는 보행 및 조작 연구자
- 학습 환경을 구성하는 시뮬레이션 엔지니어
- 로봇공학을 위한 강화 학습을 배우는 학생
관련 기술
- 포텐셜 기반 보상 형성(Potential-Based Reward Shaping)
- 희소 보상(Sparse Rewards)
- Hindsight Experience Replay
- 커리큘럼 학습(Curriculum Learning)
- 역강화 학습(Inverse Reinforcement Learning)
- 학습된 보상 모델(Learned Reward Models)
관련 용어
- Reinforcement Learning
- Markov Decision Process (MDP)
- Curriculum Learning
- Hindsight Experience Replay (HER)
- Inverse Reinforcement Learning
관련 프로젝트
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
동영상
- Reward Shaping: Udacity