Goal-Conditioned Policy
- 다른 이름: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
- 카테고리: Learning & autonomy › RL & simulation
- 태그: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning
관측과 함께 목표를 추가 입력으로 받는 제어 정책으로, 하나의 학습된 모델이 단일 작업용으로 훈련되는 대신 여러 다른 목표에 도달할 수 있다.
정의
목표 조건부 정책(goal-conditioned policy)은 현재 관측과 지정된 목표를 모두 바탕으로 행동을 선택하며, π(a | s, g)로 쓴다. 표준 정책은 한 가지 일을 하도록 학습하지만, 목표 조건부 정책은 목표로 색인되는 행동의 계열을 학습한다. 같은 신경망이 로봇을 여러 위치로 주행시키거나, 물체를 여러 자세로 놓거나, 주어진 어떤 목표 이미지에도 도달하게 할 수 있다.
목표는 여러 형태를 띨 수 있다. 목표 위치나 자세, 원하는 관절 구성, 장면이 어떻게 보여야 하는지를 담은 이미지, 또는 언어 지시이다. 내비게이션에서는 이미지 목표가 흔한데, 로봇에게 어떤 장소의 사진을 보여 주고 그곳에 도달하게 한다. 매니퓰레이션에서 목표는 흔히 목표 물체 자세나 원하는 배치를 담은 이미지이다.
강화 학습에서 목표 조건화는 범용 가치 함수 근사기(universal value function approximators) 같은 목표 조건부 가치 함수로 정식화되며, 이는 각 상태에서 로봇이 각 목표에 얼마나 잘 도달할 수 있는지를 추정한다. 실용적인 어려움은 특정 목표에 도달했을 때의 보상이 드물다는 것이다. 사후 경험 재생(hindsight experience replay)은 실패한 시도를 실제로 도달한 목표에 대한 성공으로 다시 레이블링해, 모든 궤적을 유용한 훈련 데이터로 바꿈으로써 이 문제를 해결한다.
목표 조건화는 대규모 데이터셋으로부터의 모방 학습에서도 핵심이다. 시연이나 녹화된 플레이(play) 데이터를 같은 궤적의 뒷부분에서 가져온 목표로 다시 레이블링할 수 있어서, 하나의 데이터셋이 정책에 여러 결과에 도달하는 법을 가르친다. 목표 조건부 정책은 흔히 일련의 중간 목표를 공급하는 플래너나 지도와 결합되어, 짧은 호라이즌의 정책이 긴 호라이즌의 작업을 수행할 수 있게 한다.
중요한 이유
목표 조건부 정책은 하나의 모델로 여러 작업을 처리할 수 있게 하므로, 비싼 로봇 데이터를 더 잘 활용하고 플래너에게 호출할 수 있는 재사용 가능한 저수준 기술을 제공한다. 이는 상위 수준의 작업 명세와 학습된 제어 사이의 흔한 인터페이스이다.
주요 응용
- 이미지 목표 및 위치 목표 내비게이션
- 목표 물체 자세나 배치가 달라지는 다중 작업 매니퓰레이션
- 사후 재레이블링으로 훈련한 도달 및 밀기 작업
- 계층적 시스템에서 플래너가 호출하는 저수준 기술
실제 사례
내비게이션 팀은 현재 카메라 이미지와 목표 위치의 이미지를 입력받아 속도 명령을 출력하는 정책을 훈련할 수 있다. 훈련 데이터는 기록된 로봇 주행에서 나오며, 같은 주행의 뒤쪽 프레임을 앞쪽 프레임의 목표로 사용한다. 배치 시에는 위상 지도나 플래너가 일련의 하위 목표 이미지를 공급하고, 정책은 각 이미지를 향해 차례로 주행한다. 팀은 훈련에서 본 목표만이 아니라 따로 떼어 둔 목표 전반에 걸쳐 성공률을 측정한다.
흔한 오해
- 목표 조건부 정책은 어떤 목표에도 도달할 수 있다 — 훈련에서 표현된 목표와 비슷한 목표에 대해서만 일반화한다
- 목표 조건화는 강화 학습에만 적용된다 — 시연 데이터에서 목표를 다시 레이블링하는 모방 학습에서도 똑같이 흔하다
- 목표 조건부 정책이 계획을 대체한다 — 긴 작업에는 보통 가까운 하위 목표를 공급하는 플래너나 지도가 필요하다
알아야 할 사람
- 강화 학습과 모방 학습을 연구하는 로봇 학습 연구자
- 학습된 제어기를 사용하는 내비게이션 엔지니어
- 계층적 계획 및 제어 시스템을 만드는 엔지니어
관련 기술
- 강화 학습(Reinforcement Learning)
- 사후 경험 재생(Hindsight Experience Replay)
- 범용 가치 함수 근사기(Universal Value Function Approximators)
- 모방 학습(Imitation Learning)
- Diffusion Policy
- 위상 지도(Topological Map)
관련 용어
관련 프로젝트
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim