Hindsight Experience Replay (HER)
- 다른 이름: HER
- 카테고리: Learning & autonomy › RL & simulation
- 태그: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation
목표 조건부 강화 학습을 위한 기법으로, 실패한 에피소드에 에이전트가 실제로 도달한 목표를 다시 레이블로 붙여 희소 보상의 실패를 유용한 학습 데이터로 바꾼다.
정의
Hindsight Experience Replay(HER)는 로봇 학습에서 흔한 문제를 다룬다. 목표에 도달했을 때만 주어지는 희소 보상에서는 무작위로 행동하는 로봇이 거의 성공하지 못하므로 학습 신호를 전혀 받지 못한다. 2017년 Andrychowicz 등이 제안한 HER는 실패한 각 에피소드를, 목표가 사실은 에이전트가 실제로 달성한 것이었다고 사후에 가정하여 재사용한다. 블록을 A 지점으로 밀려다가 B 지점에 두고 끝난 에피소드는 블록을 B 지점으로 미는 성공 사례가 된다.
이 방법은 상태와 원하는 목표를 모두 입력으로 받는 목표 조건부(goal-conditioned) 정책 및 가치 함수와 함께, 그리고 리플레이 버퍼로부터 학습하는 DDPG, TD3, SAC 같은 오프폴리시(off-policy) 알고리즘과 함께 작동한다. 저장된 각 전이는 목표를 바꿔 넣고 그 목표에 대해 보상을 다시 계산한 사본으로 복제된다. 대체 목표를 고르는 전략은 여러 가지이다. 에피소드의 최종 상태, 같은 에피소드의 무작위 상태, 또는 가장 흔하게는 같은 에피소드에서 나중에 도달한 상태("future" 전략)이다. 어떤 목표에 대해서든 보상을 다시 계산해야 하므로, HER에는 임의의 목표에 대해 평가할 수 있는 보상 함수가 필요하며, 이는 보통 달성한 목표가 원하는 목표로부터 허용 오차 안에 있는지 여부이다.
HER는 암묵적인 커리큘럼처럼 작용한다. 초기에는 다시 붙인 목표가 로봇이 이미 도달하는 곳 근처의 쉬운 목표이고, 정책이 개선되면서 도달하는 목표가 퍼져 나가 공간을 덮는다. 달성한 상태로부터 목표를 읽어 낼 수 없을 때, 보상이 최종 결과 이상의 것에 의존할 때, 또는 오래된 데이터를 재사용할 수 없는 온폴리시 알고리즘에서는 도움이 되지 않는다. 레이블 재지정은 또한 버퍼 안의 목표 분포를 편향시키며, 이후 연구들이 이를 다양한 방식으로 검토하고 보정했다.
중요한 이유
희소한 성공 보상은 많은 조작 작업을 지정하는 가장 자연스러운 방법이지만, 그것으로부터 직접 학습하기는 매우 어렵다. HER는 손으로 형성한 보상 항 없이 이진 보상으로 밀기, 미끄러뜨리기, 집어서 놓기 정책을 학습하는 것을 실용적으로 만들었고, 목표 레이블 재지정은 이후 목표 조건부 학습의 표준 도구가 되었다.
주요 응용
- 로봇 암을 이용한 희소 보상 밀기, 미끄러뜨리기, 집어서 놓기
- 임의의 목표 위치에 도달하는 목표 조건부 정책 학습
- 성공 여부만 주는 보상으로부터 목표 위치까지의 내비게이션 학습
- 시연이나 놀이 데이터에 그것이 실제로 도달한 목표를 다시 레이블로 붙이기
- 오프폴리시 강화 학습을 위한 다중 목표 벤치마크
실제 사례
한 엔지니어가 시뮬레이션 속 팔이 무작위로 선택된 목표 위치에 블록을 놓도록 학습시키며, 보상은 성공 시 0, 그 밖에는 -1이다. HER 없이는 블록이 우연히 목표에 놓이는 일이 드물기 때문에 SAC가 거의 개선되지 않는다. HER를 쓰면 각 전이가 그 에피소드에서 나중에 도달한 블록 위치에서 뽑은 목표와 함께도 저장되며, 보상은 블록이 대체 목표로부터 몇 센티미터 안에 있으면 성공으로 다시 계산된다. 엔지니어는 레이블 재지정 코드가 하나를 다른 하나로 바꿔 넣을 수 있도록, 관측이 달성한 목표(블록 위치)와 원하는 목표를 명확히 구분하는지 확인한다.
흔한 오해
- HER는 어떤 강화 학습 알고리즘과도 작동한다 — HER는 저장된 전이의 재사용에 의존하므로 DDPG, TD3, SAC 같은 오프폴리시 방법에 맞으며, PPO 같은 온폴리시 방법에는 맞지 않는다
- HER를 쓰면 보상 설계가 전혀 필요 없다 — 어떤 목표에 대해서든 계산할 수 있는 보상과, 상태의 어느 부분을 달성한 목표로 볼지에 대한 명확한 정의가 여전히 필요하다
- 레이블을 다시 붙인 데이터는 편향이 없다 — 달성한 목표로 바꿔 넣으면 버퍼 안의 목표와 결과의 분포가 달라져 가치 추정이 편향될 수 있다
알아야 할 사람
- 조작 작업을 다루는 강화 학습 실무자
- 희소 보상이나 이진 보상을 사용하는 로봇 학습 연구자
- 목표 조건부 정책을 구축하는 엔지니어
- 오프폴리시 학습 알고리즘을 구현하는 학생
관련 기술
- Deep Deterministic Policy Gradient(DDPG)
- Twin Delayed DDPG(TD3)
- 리플레이 버퍼(Replay Buffer)
- Universal Value Function Approximators
- Gymnasium-Robotics
관련 용어
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Markov Decision Process (MDP)
- Curriculum Learning
- Play Data
관련 프로젝트
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
동영상
- Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers