Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Reward Shaping

  • 类别: Learning & autonomy › RL & simulation
  • 标签: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation

在强化学习的奖励中加入额外的项,使智能体在第一次到达目标之前就获得有用的反馈,理想情况下不改变哪种行为是最优的。

定义

奖励塑形(reward shaping)修改强化学习问题的奖励函数,使学习更容易。许多机器人任务的自然奖励是稀疏的:只有在抽屉被打开或销钉被插入时,智能体才会收到信号。在随机探索下,机器人可能几乎永远到达不了那个状态,因此几乎收不到学习信号。塑形会加入中间项,例如夹爪到把手距离的负值、稳定抓取的奖励加成,或在一系列子目标中的进展,使智能体在第一次成功之前很久就能得到反馈。

风险在于,塑形后的奖励会改变任务。因靠近把手而获得奖励的机器人,可能学会在把手附近悬停而不去拉它;对前进速度的奖励可能产生利用仿真器缺陷的步态。Ng、Harada 和 Russell(1999)证明,具有特定形式的塑形项 F(s, s′) = γΦ(s′) − Φ(s)(其中 Φ 是定义在状态上的势函数)不会改变原问题的最优策略。这被称为基于势函数的奖励塑形。由于在这类项下,沿状态循环移动所获得的任何奖励总和为零,智能体无法从不推进任务的循环中获利。不具备这种形式的项可能改变最优策略。这有时是有意为之,即额外的项表达了真实的偏好,例如平滑运动或低能耗,但这应当是一个经过考虑的选择。

在机器人实践中,用于移动和操作的奖励往往组合了许多加权项,调整这些权重占用了很大一部分工程工作量。补充和替代方法包括课程学习、对目标的事后重标注、从示范中学习、逆强化学习,以及由学习到的视觉表示计算的奖励,例如对朝向某个子目标图像的进展的估计。这些方法减少了人工设计奖励的工作,但也带来了各自的失效模式。

为何重要

一个机器人学习任务能否收敛,常常取决于它的奖励。大多数仿真中的移动和操作策略正是靠塑形才变得可训练,而塑形不当的奖励是策略在训练中得分很高、却不能完成预期任务的常见原因。

主要应用

  • 在任务成功稀疏时训练操作策略
  • 组合速度跟踪、姿态和能量项的足式运动奖励
  • 拆分为子目标并带进展奖励的长时程任务
  • 带有到目标距离项的导航
  • 在仿真中训练的手内灵巧操作

实际应用

一个团队在仿真中训练一个打开柜子抽屉的策略。如果只在抽屉被打开时给予奖励,训练毫无进展。他们加入了夹爪到把手距离的负值项、每次抓住把手时的奖励加成,以及一个与抽屉打开程度成正比的项。策略很快学会了伸手和抓取,但随后停滞不前,因为松开再重新抓住把手会一次又一次地获得抓取加成。他们用一个基于势函数的项取代这个加成,即一个随抽屉打开、随夹爪靠近把手而上升的势函数在相邻两步之间的变化量,这样在状态之间来回循环总体上什么也得不到;他们还加入了对关节速度的小惩罚,以使运动更平滑。他们按稀疏的成功标准来评判最终策略,而不是按塑形后的回报。

常见误解

  • 任何附加的奖励项只要指向目标就是无害的 — 不是基于势函数的项可能改变最优策略,并招致奖励投机(reward hacking)
  • 塑形后的回报越高,策略就越好 — 只有在真实任务目标上的表现,才能说明策略是否做了预期的事
  • 基于势函数的塑形总能加速学习 — 它保持最优策略不变,但选得不好的势函数仍可能减慢探索
  • 奖励塑形和课程学习是一回事 — 塑形改变的是奖励,而课程改变的是任务和环境的顺序或难度

谁需要了解

  • 训练机器人策略的强化学习工程师
  • 在仿真中工作的移动和操作研究人员
  • 搭建训练环境的仿真工程师
  • 学习面向机器人的强化学习的学生

相关技术

  • 基于势函数的奖励塑形(Potential-Based Reward Shaping)
  • 稀疏奖励(Sparse Rewards)
  • Hindsight Experience Replay
  • 课程学习(Curriculum Learning)
  • 逆强化学习(Inverse Reinforcement Learning)
  • 学习得到的奖励模型(Learned Reward Models)

相关术语

  • Reinforcement Learning
  • Markov Decision Process (MDP)
  • Curriculum Learning
  • Hindsight Experience Replay (HER)
  • Inverse Reinforcement Learning

相关项目

  • GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware

视频

  • Reward Shaping: Udacity

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。