Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Preference-Based Learning

  • 又称: preference learning, PbRL, learning from comparisons
  • 类别: Learning & autonomy › Learning from demonstration
  • 标签: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning

从人类的比较(例如两种机器人行为中哪一种更好)中学习奖励函数或策略,而不是从示范或数值评分中学习。

定义

基于偏好的学习(preference-based learning)根据一个人在备选方案之间所做的比较,拟合出描述此人想要什么的模型。典型的查询会展示两条机器人轨迹,询问哪一条更好;其他形式则要求此人对若干选项排序,或从一组选项中挑出最好的一个。这些回答被用来学习一个奖励函数,再由规划器或强化学习算法对其进行优化;在某些方法中,也可以直接用来更新策略。对人来说,比较往往比绝对评分更容易给出一致的回答,而且对于此人自己无法示范的行为,例如快速或动态的机器人运动,也能给出比较。

奖励与选择之间常用的联系是 Bradley-Terry 模型:一个人偏好选项 A 胜过选项 B 的概率,是两者奖励之差的 logistic 函数,P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B)))。Plackett-Luce 模型把它推广到完整排序。一个理性参数或温度参数设定了假设此人的选择有多大噪声。奖励可以是轨迹的人工设计特征的加权和、一个高斯过程,或一个在比较数据上训练的神经网络。由于每个回答最多只携带一比特信息,许多方法会主动选择查询,挑选其回答最能减少奖励不确定性的那一对,例如 Sadigh 等人(2017)的主动式基于偏好的奖励学习工作。

在深度强化学习中,Christiano 等人(2017)表明,一个在人类对短片段的比较上训练的神经奖励模型,可以教会智能体复杂的行为,同样的方法也是语言模型中基于人类反馈的强化学习(RLHF)的基础。在机器人学中,它被用来针对个别用户定制行为,例如运动风格、驾驶风格、递交物品的时机或外骨骼步态参数。实际问题包括偏好不一致或会变化、每次查询的信息有限,以及如何选择能够表达此人偏好的特征或表示;一些工作从自然的用户交互中学习这些表示,而不是手工设计。

为何重要

许多机器人行为取决于某个特定的人觉得什么舒适、易懂或令人愉快,而这些品质很难写成奖励,也很难在示范中展示出来。基于偏好的学习提供了一种通过简单提问来捕捉它们的实用方法,同样的方法如今也是让大型学习模型与人类判断对齐的核心。

主要应用

  • 根据个别用户定制机器人的运动风格、速度和人际距离
  • 在奖励难以指定时为强化学习学习奖励函数
  • 根据用户反馈调节外骨骼和假肢的控制参数
  • 为自动驾驶车辆学习驾驶风格偏好
  • 面向语言模型和视觉-语言-动作模型的基于人类反馈的强化学习

实际应用

一个团队希望家用机器人以每位用户都觉得舒适的方式接近用户并递交物品。他们用速度、保持的距离、接近角度以及手臂多早伸出等特征来描述每种候选接近方式。在一段简短的会话中,机器人执行两种变体,用户说出更喜欢哪一种。每次回答之后,在 Bradley-Terry 模型下更新对用户奖励权重的贝叶斯估计,并选择信息量最大的下一对。一旦估计在回答之间不再有太大变化,机器人的规划器就使用学到的奖励来生成新的接近方式。团队通过重复部分先前的查询来检查一致性,如果回答变得相互矛盾,就停止调整。

常见误解

  • 偏好给出质量的绝对度量 — 偏好只表明哪个选项更好,因此学到的奖励只确定到一个偏移量,其尺度取决于假设的噪声水平
  • 随机的比较查询一样好 — 每个回答携带的信息很少,主动选择的查询通常需要的比较次数要少得多
  • 基于偏好的学习就是 RLHF — RLHF 是它在大型模型上的一种应用;这个思想更早,并在机器人学中被广泛使用
  • 人类的偏好是一致且固定的 — 人做出的选择带有噪声,有时不具传递性,并且会随经验改变,因此模型必须考虑噪声和漂移

谁需要了解

  • 利用人类反馈的机器人学习研究人员
  • 设计个性化行为的人机交互研究人员
  • 难以指定奖励的强化学习工程师
  • 根据用户调整设备的辅助机器人和可穿戴机器人工程师

相关技术

  • Bradley-Terry 模型(Bradley-Terry Model)
  • 基于人类反馈的强化学习(Reinforcement Learning from Human Feedback)
  • 直接偏好优化(Direct Preference Optimization)
  • 贝叶斯主动学习(Bayesian Active Learning)
  • 高斯过程偏好学习(Gaussian Process Preference Learning)

相关术语

  • Inverse Reinforcement Learning
  • Reinforcement Learning
  • Imitation Learning
  • Gaussian process regression
  • End-User Robot Programming

相关项目

  • Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
  • RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
  • Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

视频

  • Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。