Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Goal-Conditioned Policy

  • 又称: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
  • 类别: Learning & autonomy › RL & simulation
  • 标签: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning

一种控制策略,它在观测之外把目标作为额外输入,使一个学习得到的模型能够到达许多不同的目标,而不是只为单一任务训练。

定义

目标条件策略(Goal-conditioned policies)同时根据当前观测和指定的目标来选择动作,记作 π(a | s, g)。标准策略学习做一件事;目标条件策略则学习一族以目标为索引的行为。同一个网络可以把机器人驱动到许多位置,把物体放成许多位姿,或者到达给定的任何目标图像。

目标可以有多种形式:目标位置或位姿、期望的关节构型、场景应当呈现的样子的图像,或者一条语言指令。在导航中,图像目标很常见:给机器人看一张某个地点的照片,它必须到达那里。在操作中,目标通常是目标物体的位姿或期望布置的图像。

在强化学习中,目标条件通过目标条件价值函数来形式化,例如通用价值函数逼近器,它估计机器人从每个状态到达每个目标的能力。一个实际困难是,到达某个特定目标的奖励很少出现。后见经验回放(Hindsight experience replay)解决这一问题的方法是,把一次失败的尝试重新标注为对实际到达的那个目标的成功,从而把每条轨迹都变成有用的训练数据。

目标条件在基于大规模数据集的模仿学习中也处于核心地位。演示或记录下来的自由交互(play)数据可以用取自同一轨迹中较晚时刻的目标重新标注,这样单个数据集就能教会策略如何达到许多结果。目标条件策略常与提供一系列中间目标的规划器或地图相结合,让短时域策略完成长时域任务。

为何重要

目标条件策略让一个模型服务于许多任务,从而更好地利用昂贵的机器人数据,并为规划器提供可复用、可调用的底层技能。它们是高层任务描述与学习型控制之间的一种常见接口。

主要应用

  • 图像目标和位置目标导航
  • 目标物体位姿或布置会变化的多任务操作
  • 用后见重标注训练的伸手够取和推动任务
  • 在分层系统中由规划器调用的底层技能

实际应用

导航团队可能会训练一个策略,它以当前相机图像和目标位置的图像作为输入,输出速度指令。训练数据来自记录下来的机器人行驶过程,其中同一次运行中较晚的帧被用作较早帧的目标。部署时,由拓扑地图或规划器提供一系列子目标图像,策略依次驶向每一个。团队在留出的目标上衡量成功率,而不仅仅在训练中见过的目标上衡量。

常见误解

  • 目标条件策略可以到达任何目标 — 它只能在与训练中出现过的目标相似的目标之间泛化
  • 目标条件只适用于强化学习 — 它在模仿学习中同样常见,在那里目标从演示数据中重新标注得到
  • 目标条件策略可以取代规划 — 对于长任务,它通常需要规划器或地图来提供附近的子目标

谁需要了解

  • 从事强化学习和模仿学习的机器人学习研究人员
  • 使用学习型控制器的导航工程师
  • 构建分层规划与控制系统的工程师

相关技术

  • 强化学习(Reinforcement Learning)
  • 后见经验回放(Hindsight Experience Replay)
  • 通用价值函数逼近器(Universal Value Function Approximators)
  • 模仿学习(Imitation Learning)
  • 扩散策略(Diffusion Policy)
  • 拓扑地图(Topological Map)

相关术语

  • Imitation Learning
  • Reinforcement Learning
  • Diffusion Policy

相关项目

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。