Inverse Reinforcement Learning

• 다른 이름: IRL, inverse RL
• 카테고리: Learning & autonomy › Learning from demonstration
• 태그: reward-learning, imitation-learning, reinforcement-learning, robot-learning, learning-from-demonstration

전문가의 시연 행동을 설명하는 보상 함수를 학습하여, 그다음 강화 학습이나 계획으로 그 보상을 최적화하는 정책을 학습할 수 있게 하는 것.

정의

역강화 학습(inverse reinforcement learning, IRL)은 일반적인 강화 학습 문제를 뒤집는다. 학습자는 보상을 받고 좋은 정책을 요구받는 대신, 좋은 행동의 시연을 받고 그 행동이 최적이거나 최적에 가까워지게 하는 보상 함수를 요구받는다. 학습된 보상은 그다음 정책을 학습하는 데 쓰이며, 때로는 새로운 상황이나 다른 로봇에서 쓰이는데, 이는 보상이 시연된 행동보다 작업의 의도를 더 잘 담는다는 가정에 따른 것이다. Andrew Ng와 Stuart Russell이 2000년에 이 문제에 대한 초기의 형식적 다룸을 제시했다.

이 문제는 잘 정의되지 않은(ill-posed) 문제이다. 모든 곳에서 0인 보상을 포함해 많은 보상 함수가 같은 행동을 설명한다. 방법들은 이 모호성을 서로 다른 방식으로 해소한다. 견습 학습(apprenticeship learning)은 학습자의 기대 특징 카운트를 전문가의 것과 맞춘다. 2008년 Brian Ziebart와 동료들이 도입한 최대 엔트로피 IRL은 전문가가 보상의 지수에 비례하는 확률로 궤적을 고른다고 모델링하며, 이는 잘 정의된 우도를 주고 불완전한 시연을 허용한다. 적대적 방법은 전문가 데이터와 정책 자신의 데이터를 구별하도록 판별기를 학습하고 그 출력을 학습 신호로 쓴다. GAIL은 명시적 보상을 반환하지 않고 이를 수행하며, AIRL은 보상을 복원하도록 설계되었다.

고전적 IRL은 보상 업데이트와, 그 보상 아래에서 전체 강화 학습 문제를 푸는 것을 번갈아 수행하므로 비용이 크다. 그래서 실제 로봇 시스템은 시연 프레임과의 유사도에 기반한 보상이나 성공 예시로 학습한 분류기 같은 더 단순한 보상 학습 방식을 흔히 사용하면서도, 예시로부터 학습 신호를 얻는다는 핵심 아이디어는 유지한다. 제어 이론에서는 관측된 최적 궤적으로부터 비용 함수를 복원하는 밀접하게 관련된 문제를 역최적 제어(inverse optimal control)라고 한다.

중요한 이유

로봇 작업의 보상을 손으로 작성하는 일은 느리고 오류가 생기기 쉬우며, 정책은 보상과 의도된 행동 사이의 어떤 틈이든 악용한다. IRL은 대신 시연으로부터 보상을 얻으며, 이 보상은 시연된 행동을 그대로 따라 하면 실패할 조건으로도 이어질 수 있다. 또한 IRL은 모방 학습과 강화 학습을 연결한다.

주요 응용

• 시연으로부터 조작 작업의 보상 학습
• 자율주행차를 위한 운전자 및 보행자 행동 모델링
• 전문가 경로로부터 내비게이션 비용 지도 학습
• 인간-로봇 상호작용에서 사람의 선호 추론
• 실제 로봇에서의 강화 학습을 위한 학습 보상 제공

실제 사례

한 팀이 로봇 암이 사람처럼 탁자를 닦기를 원한다. 이들은 원격 조작 시연 세트를 기록한 다음, 정책과 나란히 보상 모델을 학습한다. 판별기는 상태 전이가 전문가 같은지 아닌지 점수를 매기도록 학습하고, 정책은 시뮬레이션에서 강화 학습으로 그 점수를 최대화하도록 학습한 뒤 로봇에서 미세 조정된다. 정책이 학습된 보상의 결함을 악용하지 못하도록 이들은 판별기를 정규화하고, 작업 완료에 대한 작은 수작업 항을 더하며, 롤아웃을 눈으로 검토한다. 나중에 작업을 높이가 다른 탁자로 옮길 때, 학습된 보상은 적응된 정책의 롤아웃에 점수를 매기는 데 쓰인다.

흔한 오해

• IRL은 행동 복제와 같다 — 행동 복제는 행동을 직접 따라 하고, IRL은 보상을 복원한 다음 그 보상을 최적화하는 정책을 학습한다
• 복원된 보상이 참 보상이다 — 많은 보상이 같은 시연을 설명하며, IRL은 자체 가정 아래에서 데이터에 맞는 보상 하나를 반환한다
• IRL에는 완벽한 시연이 필요하다 — 초기 정식화는 최적의 전문가를 가정했지만, 최대 엔트로피 방법과 이후 방법은 잡음이 있거나 최적이 아닌 시연을 허용한다

알아야 할 사람

• 로봇 학습 연구자
• 보상 함수를 설계하는 강화 학습 엔지니어
• 자율주행 행동 모델링 팀
• 인간-로봇 상호작용 연구자

관련 기술

• 최대 엔트로피 IRL(Maximum Entropy IRL)
• 생성적 적대 모방 학습(Generative Adversarial Imitation Learning, GAIL)
• 적대적 역강화 학습(Adversarial Inverse Reinforcement Learning, AIRL)
• 역최적 제어(Inverse Optimal Control)
• 견습 학습(Apprenticeship Learning)

관련 용어

• Reinforcement Learning
• Imitation Learning
• Behavior Cloning
• DAgger
• Residual Reinforcement Learning

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

동영상

• CS 285: Lecture 20, Inverse Reinforcement Learning, Part 1: RAIL
• Inverse Reinforcement Learning Explained: Edan Meyer