Preference-Based Learning
- 又稱: preference learning, PbRL, learning from comparisons
- 類別: Learning & autonomy › Learning from demonstration
- 標籤: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning
從人類的比較(例如兩種機器人行為中哪一種比較好)中學習獎勵函數或策略,而不是從示範或數值評分中學習。
定義
基於偏好的學習(preference-based learning)根據一個人在不同選項之間所做的比較,擬合出描述此人想要什麼的模型。典型的查詢會展示兩條機器人軌跡,詢問哪一條比較好;其他形式則請此人為數個選項排序,或從一組選項中挑出最好的一個。這些回答被用來學習一個獎勵函數,再由規劃器或強化學習演算法加以最佳化;在某些方法中,也可以直接用來更新策略。對人來說,比較往往比絕對評分更容易給出一致的答案,而且即使是此人自己無法示範的行為,例如快速或動態的機器人動作,也能做比較。
獎勵與選擇之間常用的連結是 Bradley-Terry 模型:一個人偏好選項 A 勝過選項 B 的機率,是兩者獎勵差值的 logistic 函數,P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B)))。Plackett-Luce 模型把它推廣到完整排序。一個理性參數或溫度參數設定了假設此人的選擇有多少雜訊。獎勵可以是軌跡上人工設計特徵的加權和、一個高斯過程,或一個以比較資料訓練的神經網路。由於每個回答最多只攜帶一位元的資訊,許多方法會主動挑選查詢,選出回答最能降低獎勵不確定性的那一對,例如 Sadigh 等人(2017)的主動式基於偏好之獎勵學習研究。
在深度強化學習中,Christiano 等人(2017)證明,一個以人類對短片段之比較訓練的神經獎勵模型,可以教會代理人複雜的行為,同樣的方法也是語言模型中基於人類回饋之強化學習(RLHF)的基礎。在機器人學中,它被用來為個別使用者量身調整行為,例如動作風格、駕駛風格、遞交物品的時機或外骨骼步態參數。實務上的問題包括偏好不一致或會改變、每次查詢的資訊有限,以及如何選擇能表達此人偏好的特徵或表示法;有些研究從自然的使用者互動中學習這些表示法,而不是手工設計。
為何重要
許多機器人行為取決於某個特定的人覺得什麼舒適、易懂或令人愉快,而這些特質很難寫成獎勵,也很難在示範中呈現。基於偏好的學習提供了一種透過簡單提問來掌握它們的實用方法,同樣的方法如今也是讓大型學習模型與人類判斷對齊的核心。
主要應用
- 依個別使用者調整機器人的動作風格、速度與人際距離
- 在獎勵難以指定時為強化學習學習獎勵函數
- 依使用者回饋調校外骨骼與義肢的控制參數
- 為自駕車學習駕駛風格偏好
- 用於語言模型與視覺-語言-動作模型的基於人類回饋之強化學習
實際應用
一個團隊希望居家機器人以每位使用者都覺得舒適的方式靠近並遞交物品。他們以速度、保持的距離、靠近角度以及手臂多早伸出等特徵來描述每種候選的靠近方式。在一段簡短的工作階段中,機器人執行兩種變化,使用者說出比較喜歡哪一種。每次回答之後,在 Bradley-Terry 模型下更新對使用者獎勵權重的貝氏估計,並挑選資訊量最大的下一對。一旦估計在回答之間不再有太大變化,機器人的規劃器就使用學到的獎勵來產生新的靠近方式。團隊會重複部分先前的查詢來檢查一致性,若回答開始互相矛盾,就停止調整。
常見誤解
- 偏好能給出品質的絕對量度 — 偏好只顯示哪個選項比較好,因此學到的獎勵只確定到一個偏移量,其尺度取決於假設的雜訊程度
- 隨機的比較查詢一樣好 — 每個回答攜帶的資訊很少,主動挑選的查詢通常需要的比較次數少得多
- 基於偏好的學習就是 RLHF — RLHF 是它在大型模型上的一種應用;這個概念更早出現,並在機器人學中被廣泛使用
- 人類的偏好是一致且固定的 — 人所做的選擇帶有雜訊,有時不具遞移性,也會隨經驗改變,因此模型必須考慮雜訊與漂移
誰需要了解
- 運用人類回饋的機器人學習研究人員
- 設計個人化行為的人機互動研究人員
- 苦於難以指定獎勵的強化學習工程師
- 依使用者調整裝置的輔助與穿戴式機器人工程師
相關技術
- Bradley-Terry 模型(Bradley-Terry Model)
- 基於人類回饋的強化學習(Reinforcement Learning from Human Feedback)
- 直接偏好最佳化(Direct Preference Optimization)
- 貝氏主動學習(Bayesian Active Learning)
- 高斯過程偏好學習(Gaussian Process Preference Learning)
相關術語
- Inverse Reinforcement Learning
- Reinforcement Learning
- Imitation Learning
- Gaussian process regression
- End-User Robot Programming
相關專案
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
- Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks
影片
- Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology