Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Hindsight Experience Replay (HER)

  • 又称: HER
  • 类别: Learning & autonomy › RL & simulation
  • 标签: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation

一种用于目标条件强化学习的技术,用智能体实际达到的目标重新标注失败的回合,把稀疏奖励下的失败变成有用的训练数据。

定义

事后经验回放(Hindsight experience replay,HER)解决的是机器人学习中的一个常见问题:在只有达到目标时才给予的稀疏奖励下,随机行动的机器人几乎永远不会成功,因此得不到任何学习信号。HER 由 Andrychowicz 等人于 2017 年提出,它在事后假装目标就是智能体实际达到的状态,以此复用每一个失败的回合。一个试图把方块推到 A 点、却把它留在 B 点的回合,就变成了一个把方块推到 B 点的成功样例。

该方法与目标条件策略和价值函数(它们同时以状态和期望目标作为输入)配合使用,并与 DDPG、TD3 或 SAC 等从回放缓冲区中学习的离策略算法配合使用。每条存储的状态转移都会被复制一份,替换为另一个目标,并针对该目标重新计算奖励。有几种策略用来选择替代目标:回合的最终状态、同一回合中的一个随机状态,或者最常用的,同一回合中之后达到的某个状态(即 "future" 策略)。由于必须针对任意目标重新计算奖励,HER 需要一个能对任意目标求值的奖励函数,通常是判断达到的目标是否在期望目标的某个容差范围内。

HER 起到一种隐式课程的作用:早期,重新标注的目标都是机器人原本就会停留之处附近的简单目标;随着策略改进,它能达到的目标逐渐扩散,覆盖整个空间。当目标无法从达到的状态中读出、奖励不仅取决于最终结果,或者使用无法复用旧数据的同策略算法时,它就没有帮助。重新标注还会使缓冲区中的目标分布产生偏差,后续工作已对此进行了研究,并以多种方式加以纠正。

为何重要

对许多操作任务来说,稀疏的成功奖励是最自然的设定方式,但直接从中学习非常困难。HER 使得无需人工塑造的奖励项、仅凭二值奖励就能训练推动、滑动和抓取放置策略变得切实可行,此后目标重标注已成为目标条件学习中的标准工具。

主要应用

  • 机械臂在稀疏奖励下的推动、滑动和抓取放置
  • 训练能到达任意目标位置的目标条件策略
  • 仅凭成功奖励学习导航到目标位置
  • 用示范数据或玩耍数据实际达到的目标对其重新标注
  • 离策略强化学习的多目标基准

实际应用

一名工程师训练一个仿真机械臂把方块放到随机选择的目标位置,成功时奖励为 0,否则为 -1。没有 HER 时,SAC 几乎没有进步,因为方块很少会碰巧落在目标上。使用 HER 后,每条状态转移还会连同从该回合之后达到的方块位置中抽取的目标一起存储,如果方块位于替代目标几厘米之内,奖励就重新计算为成功。工程师检查观测是否把已达到的目标(方块位置)与期望目标清楚地分开,这样重新标注的代码才能把二者互换。

常见误解

  • HER 适用于任何强化学习算法 — 它依赖于复用存储的状态转移,因此适合 DDPG、TD3 和 SAC 等离策略方法,而不适合 PPO 等同策略方法
  • HER 让奖励设计变得完全不必要 — 它仍然需要一个能对任意目标计算的奖励,以及对状态中哪一部分算作已达到目标的明确定义
  • 重新标注的数据是无偏的 — 用已达到的目标进行替换会改变缓冲区中目标和结果的分布,这可能使价值估计产生偏差

谁需要了解

  • 从事操作任务的强化学习从业者
  • 使用稀疏奖励或二值奖励的机器人学习研究人员
  • 构建目标条件策略的工程师
  • 实现离策略学习算法的学生

相关技术

  • 深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)
  • 双延迟 DDPG(Twin Delayed DDPG,TD3)
  • 回放缓冲区(Replay Buffer)
  • 通用价值函数逼近器(Universal Value Function Approximators)
  • Gymnasium-Robotics

相关术语

  • Goal-Conditioned Policy
  • Reinforcement Learning
  • Soft Actor-Critic
  • Markov Decision Process (MDP)
  • Curriculum Learning
  • Play Data

相关项目

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills

视频

  • Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。