Goal-Conditioned Policy
- 又称: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
- 类别: Learning & autonomy › RL & simulation
- 标签: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning
一种控制策略,它在观测之外把目标作为额外输入,使一个学习得到的模型能够到达许多不同的目标,而不是只为单一任务训练。
定义
目标条件策略(Goal-conditioned policies)同时根据当前观测和指定的目标来选择动作,记作 π(a | s, g)。标准策略学习做一件事;目标条件策略则学习一族以目标为索引的行为。同一个网络可以把机器人驱动到许多位置,把物体放成许多位姿,或者到达给定的任何目标图像。
目标可以有多种形式:目标位置或位姿、期望的关节构型、场景应当呈现的样子的图像,或者一条语言指令。在导航中,图像目标很常见:给机器人看一张某个地点的照片,它必须到达那里。在操作中,目标通常是目标物体的位姿或期望布置的图像。
在强化学习中,目标条件通过目标条件价值函数来形式化,例如通用价值函数逼近器,它估计机器人从每个状态到达每个目标的能力。一个实际困难是,到达某个特定目标的奖励很少出现。后见经验回放(Hindsight experience replay)解决这一问题的方法是,把一次失败的尝试重新标注为对实际到达的那个目标的成功,从而把每条轨迹都变成有用的训练数据。
目标条件在基于大规模数据集的模仿学习中也处于核心地位。演示或记录下来的自由交互(play)数据可以用取自同一轨迹中较晚时刻的目标重新标注,这样单个数据集就能教会策略如何达到许多结果。目标条件策略常与提供一系列中间目标的规划器或地图相结合,让短时域策略完成长时域任务。
为何重要
目标条件策略让一个模型服务于许多任务,从而更好地利用昂贵的机器人数据,并为规划器提供可复用、可调用的底层技能。它们是高层任务描述与学习型控制之间的一种常见接口。
主要应用
- 图像目标和位置目标导航
- 目标物体位姿或布置会变化的多任务操作
- 用后见重标注训练的伸手够取和推动任务
- 在分层系统中由规划器调用的底层技能
实际应用
导航团队可能会训练一个策略,它以当前相机图像和目标位置的图像作为输入,输出速度指令。训练数据来自记录下来的机器人行驶过程,其中同一次运行中较晚的帧被用作较早帧的目标。部署时,由拓扑地图或规划器提供一系列子目标图像,策略依次驶向每一个。团队在留出的目标上衡量成功率,而不仅仅在训练中见过的目标上衡量。
常见误解
- 目标条件策略可以到达任何目标 — 它只能在与训练中出现过的目标相似的目标之间泛化
- 目标条件只适用于强化学习 — 它在模仿学习中同样常见,在那里目标从演示数据中重新标注得到
- 目标条件策略可以取代规划 — 对于长任务,它通常需要规划器或地图来提供附近的子目标
谁需要了解
- 从事强化学习和模仿学习的机器人学习研究人员
- 使用学习型控制器的导航工程师
- 构建分层规划与控制系统的工程师
相关技术
- 强化学习(Reinforcement Learning)
- 后见经验回放(Hindsight Experience Replay)
- 通用价值函数逼近器(Universal Value Function Approximators)
- 模仿学习(Imitation Learning)
- 扩散策略(Diffusion Policy)
- 拓扑地图(Topological Map)
相关术语
相关项目
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim