Preference-Based Learning
- 다른 이름: preference learning, PbRL, learning from comparisons
- 카테고리: Learning & autonomy › Learning from demonstration
- 태그: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning
시연이나 수치 점수 대신, 두 로봇 행동 중 어느 쪽이 더 나은지 같은 사람의 비교로부터 보상 함수나 정책을 학습하는 것.
정의
선호 기반 학습(Preference-based learning)은 대안들 사이에서 사람이 한 비교로부터 그 사람이 원하는 것의 모델을 맞춘다. 전형적인 질의는 로봇 궤적 두 개를 보여 주고 어느 쪽이 더 나은지 묻는다. 다른 형태로는 여러 선택지의 순위를 매기게 하거나 집합에서 가장 좋은 것을 고르게 한다. 이 답변들은 보상 함수를 학습하는 데 쓰이고, 그 보상 함수를 계획기나 강화학습 알고리즘이 최적화하며, 일부 방법에서는 답변으로 정책을 직접 갱신한다. 사람들에게는 절대 점수보다 비교를 일관되게 하는 것이 더 쉬운 경우가 많으며, 빠르거나 동적인 로봇 동작처럼 그 사람이 직접 시연할 수 없는 행동에 대해서도 비교를 할 수 있다.
보상과 선택을 잇는 일반적인 연결은 Bradley-Terry 모델(Bradley-Terry model)이다. 사람이 선택지 B보다 선택지 A를 선호할 확률은 두 보상 차이의 로지스틱 함수, P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B)))이다. Plackett-Luce 모델은 이를 전체 순위로 확장한다. 합리성 또는 온도 매개변수가 사람이 얼마나 잡음이 섞인 선택을 한다고 가정할지 정한다. 보상은 궤적에 대해 수작업으로 설계한 특징들의 가중합, 가우시안 프로세스, 또는 비교 데이터로 학습한 신경망일 수 있다. 각 답변은 많아야 1비트의 정보만 담으므로, 많은 방법은 Sadigh 등(2017)의 능동적 선호 기반 보상 학습 연구에서처럼 질의를 능동적으로 선택하여, 답이 보상에 대한 불확실성을 가장 많이 줄일 쌍을 고른다.
심층 강화학습에서 Christiano 등(2017)은 짧은 클립에 대한 사람의 비교로 학습한 신경망 보상 모델이 에이전트에게 복잡한 행동을 가르칠 수 있음을 보였으며, 같은 접근법이 언어 모델을 위한 인간 피드백 기반 강화학습(RLHF)의 바탕이 된다. 로봇공학에서는 동작 스타일, 주행 스타일, 건네주기 타이밍, 외골격 걸음새 매개변수처럼 행동을 개별 사용자에게 맞추는 데 쓰인다. 실용적인 문제로는 일관되지 않거나 변하는 선호, 질의당 제한된 정보, 그리고 사람의 선호를 표현할 수 있는 특징이나 표현을 선택하는 일이 있다. 일부 연구는 이러한 표현을 수작업으로 설계하는 대신 자연스러운 사용자 상호작용으로부터 학습한다.
중요한 이유
많은 로봇 행동은 특정한 사람이 무엇을 편안하고, 읽기 쉽고, 쾌적하다고 느끼는지에 달려 있으며, 이러한 특성은 보상으로 작성하거나 시연으로 보여 주기 어렵다. 선호 기반 학습은 간단한 질문으로 이를 포착하는 실용적인 방법을 제공하며, 같은 방법들이 이제 대규모 학습 모델을 사람의 판단에 정렬하는 데 핵심이 되었다.
주요 응용
- 로봇 동작 스타일, 속도, 근접 거리를 개별 사용자에게 맞춤화
- 보상을 명시하기 어려울 때 강화학습을 위한 보상 함수 학습
- 사용자 피드백으로 외골격과 의지의 제어 매개변수 조정
- 자율주행차를 위한 주행 스타일 선호 학습
- 언어 모델과 Vision-Language-Action 모델을 위한 인간 피드백 기반 강화학습
실제 사례
한 팀이 가정용 로봇이 사용자마다 편안하게 느끼는 방식으로 다가가 물건을 건네주기를 원한다. 팀은 각 후보 접근 방식을 속도, 유지하는 거리, 접근 각도, 팔을 얼마나 일찍 뻗는지 같은 특징으로 기술한다. 짧은 세션에서 로봇이 두 가지 변형을 수행하고 사용자는 어느 쪽을 선호하는지 말한다. 각 답변 후 Bradley-Terry 모델에 따라 사용자 보상 가중치의 베이즈 추정값이 갱신되고, 다음 쌍은 가장 많은 정보를 주도록 선택된다. 답변 사이에 추정값이 거의 변하지 않게 되면, 로봇의 계획기는 학습된 보상을 사용해 새로운 접근을 생성한다. 팀은 앞선 질의 일부를 반복해 일관성을 확인하고, 답변이 모순되기 시작하면 적응을 멈춘다.
흔한 오해
- 선호는 품질의 절대적 척도를 준다 — 선호는 어느 선택지가 더 나은지만 보여 주므로, 학습된 보상은 오프셋을 제외하고만 정해지며 그 스케일은 가정한 잡음 수준에 달려 있다
- 무작위 비교 질의도 똑같이 좋다 — 각 답변이 담는 정보는 적으며, 능동적으로 선택한 질의는 보통 훨씬 적은 비교만 필요로 한다
- 선호 기반 학습은 RLHF와 같다 — RLHF는 이를 대규모 모델에 적용한 한 가지 사례이며, 이 개념은 더 오래되었고 로봇공학에서 널리 쓰인다
- 사람의 선호는 일관되고 고정되어 있다 — 사람은 잡음이 섞이고 때로는 비이행적인 선택을 하며 이는 경험에 따라 바뀔 수 있으므로, 모델은 잡음과 드리프트를 허용해야 한다
알아야 할 사람
- 사람의 피드백을 다루는 로봇 학습 연구자
- 개인화된 행동을 설계하는 인간-로봇 상호작용 연구자
- 보상을 명시하는 데 어려움을 겪는 강화학습 엔지니어
- 장치를 사용자에게 맞게 조정하는 보조 및 착용형 로봇공학 엔지니어
관련 기술
- Bradley-Terry 모델(Bradley-Terry Model)
- 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback)
- 직접 선호 최적화(Direct Preference Optimization)
- 베이지안 능동 학습(Bayesian Active Learning)
- 가우시안 프로세스 선호 학습(Gaussian Process Preference Learning)
관련 용어
- Inverse Reinforcement Learning
- Reinforcement Learning
- Imitation Learning
- Gaussian process regression
- End-User Robot Programming
관련 프로젝트
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
- Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks
동영상
- Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology