Teacher-Student Training
- 다른 이름: privileged learning, learning by cheating, teacher-student distillation, privileged teacher
- 카테고리: Learning & autonomy › RL & simulation
- 태그: reinforcement-learning, sim-to-real, policy-distillation, robot-learning, locomotion
실제 시뮬레이터 상태 같은 특권 정보를 가진 교사 정책을, 실제 로봇에서 쓸 수 있는 센서만 사용하는 학생 정책으로 증류하는 학습 방식.
정의
교사-학생 학습(teacher-student training)은 주로 시뮬레이션에서 쓰이는 로봇 학습의 2단계 접근법으로, 무엇을 할지 배우는 것과 현실적인 센서로부터 그것을 추론하는 법을 배우는 것을 분리한다. 첫 번째 단계에서는 실제 로봇이 갖지 못할 특권 정보, 즉 정확한 지형 높이, 마찰 계수, 물체 자세, 접촉 상태 또는 시뮬레이터의 전체 상태를 주면서, 보통 강화 학습으로 교사 정책을 학습시킨다. 이 정보가 있으면 작업을 훨씬 쉽게 배울 수 있다.
두 번째 단계에서는 관절 인코더, IMU, 카메라 이미지, 또는 짧은 과거 관측 이력처럼 하드웨어에서 쓸 수 있는 관측만 사용해 교사의 행동을 재현하도록 학생 정책을 학습시킨다. 교사에게는 어떤 상태에서든 질의할 수 있으므로 학생은 지도 학습으로 학습되며, 흔히 학생이 시뮬레이션을 주도하고 교사가 방문한 각 상태에서 올바른 행동을 제공하는 DAgger 방식의 데이터 수집을 사용한다. 학생은 로봇이 어떻게 움직여 왔는지로부터 지면 마찰 같은 숨은 양을 추론할 수 있도록 순환 신경망이나 이력 인코더를 사용하는 경우가 많다.
이 접근법은 크리틱만 특권 상태를 보는 비대칭 액터-크리틱(asymmetric actor-critic) 방법, 그리고 일반적인 정책 증류와 밀접하게 관련된다. 자율 주행에서는 2019년 Chen 등이 "learning by cheating"으로 제시했으며, 2020년 Lee 등이 이 방식으로 사족 로봇 제어기를 학습시켜 거친 자연 지형에 배포한 뒤 다리 보행에서 널리 쓰이게 되었다.
주된 한계는 학생이 자신의 센서가 담고 있는 정보만큼만 좋아질 수 있다는 점이다. 교사가 학생이 추론할 수 없는 무언가에 의존하면 학생은 교사에 미치지 못한다.
중요한 이유
노이즈가 있고 불완전한 센서 데이터로부터 강화 학습으로 직접 배우는 것은 느리고 불안정하다. 교사-학생 학습은 어려운 제어 문제를 먼저 완전한 정보로 풀고 그 기술을 실제 로봇에서 실행할 수 있는 정책으로 옮기게 해 주며, 이 덕분에 다리 로봇과 정교한 로봇 손을 위한 Sim-to-Real 파이프라인의 표준 구성 요소가 되었다.
주요 응용
- 주로 고유수용 감각을 사용하는 거친 지형 위 다리 보행
- 먼저 물체의 전체 상태로 학습한 정책을 사용하는 정교한 손 안 조작
- 상태 기반 전문가로부터 증류한 비전 기반 내비게이션 및 주행 정책
- 핵심 물리 파라미터를 하드웨어에서 측정할 수 없는 경우의 Sim-to-Real 전이
실제 사례
Isaac Lab 같은 GPU 시뮬레이터에서 사족 로봇 제어기를 학습시키는 팀은 먼저 PPO로 교사를 학습시키는데, 고유수용 감각에 더해 특권 지형 샘플과 접촉 정보를 입력으로 주고, 마찰과 탑재 하중에 대해 도메인 무작위화를 적용한다. 교사가 안정적으로 동작하면, 고유수용 감각 이력만, 때로는 노이즈가 섞인 높이 지도나 깊이 입력과 함께 받는 학생을 학습시켜 교사의 행동이나 잠재 특징과 일치하게 한다. 학습 데이터는 많은 병렬 환경에서 학생을 롤아웃하고 방문한 각 상태에 교사의 출력을 레이블로 붙여 얻는다. 그런 다음 학생을 실제 로봇에 배포하고, 엔지니어는 미끄러운 바닥이나 로봇이 볼 수 없는 장애물처럼 숨은 정보가 가장 중요한 상황에서 이를 시험한다.
흔한 오해
- 학생에게는 실제 환경 학습 데이터가 필요하다 — 두 단계 모두 보통 전적으로 시뮬레이션에서 학습되며, 학생은 제로샷으로 배포된다
- 학생은 단순히 교사를 따라 한다 — 학생은 자신의 센서 이력으로부터 숨은 정보를 추론해야 하며, 그것이 어려운 부분이다
- 교사-학생 학습은 강화 학습을 대체한다 — 교사는 보통 RL로 학습되며, 지도 증류인 것은 학생 단계뿐이다
알아야 할 사람
- Sim-to-Real 전이를 연구하는 로봇 학습 연구자
- 다리 보행 제어 엔지니어
- 정교한 조작 연구자
- 하드웨어에 정책을 배포하는 강화 학습 실무자
관련 기술
- Isaac Lab
- DAgger
- 비대칭 액터-크리틱(Asymmetric Actor-Critic)
- 정책 증류(Policy Distillation)
- Proximal Policy Optimization (PPO)
- MuJoCo
관련 용어
관련 프로젝트
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim