Parameterized Action MDP
- 又称: PAMDP, parameterized action space MDP
- 类别: Learning & autonomy › RL & simulation
- 标签: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions
一种马尔可夫决策过程,其动作把一个离散选择(例如使用哪种技能)与该选择的连续参数(例如在何处或如何执行)配对。
定义
参数化动作马尔可夫决策过程(parameterized action Markov decision process,PAMDP)是一种动作空间由离散选择和连续选择混合而成的 MDP。它有一个有限的离散动作集合,每个离散动作 a 都有自己的连续参数空间 X_a。在每个决策步,智能体选择一个离散动作并为它选择一个参数向量,因此动作是一个二元组 (a, x),其中 x 属于 X_a。不同的离散动作可以有维度和含义都不同的参数。Masson、Ranchod 和 Konidaris 于 2016 年对这一设定进行了形式化,并提出了 Q-PAMDP,它在学习选择哪个离散动作与学习每个动作的参数策略之间交替进行。
这种结构对于围绕技能或基元(skills or primitives)构建的机器人来说很自然。一个操作智能体可能要在伸手、抓取、推动和放置之间做选择,每个动作都有连续参数,例如目标位置、推动方向或抓取朝向,而当没有合适的基元时,就退回到原子级的底层动作。一个足球智能体要在踢球、冲刺和转身之间做选择,每个动作都有力度或方向参数,这正是 Hausknecht 和 Stone 于 2016 年用于参数化动作深度强化学习的 RoboCup 设定。由于一个基元可能持续运行许多个控制周期,决策之间的时间是可变的,这把 PAMDP 与半马尔可夫决策过程(semi-MDP)和选项框架联系起来;但在 PAMDP 中,基元通常是固定的、人工设计的控制器,而不是学习得到的选项。
在 PAMDP 中学习需要尊重这种混合结构的方法。常见的深度 RL 方法使用一个网络,为每个离散动作输出一个价值或概率以及该动作的参数,如 Xiong 及其同事提出的 P-DQN 及其变体;或者使用输出基元类型上的类别分布以及每种类型参数上的高斯分布的策略。简单地把参数离散化会损失精度,并使动作空间迅速膨胀;而把所有内容当作一个大的连续向量处理,则丢掉了只有所选动作的参数才重要这一信息。
为何重要
使用底层关节或末端执行器指令的强化学习在长时程操作任务上举步维艰,因为探索问题极其庞大。让策略调用参数化技能可以缩短有效时程,重用基元中已内置的工程知识,并产生更易于检查的行为,而 PAMDP 正是实现这一点的形式化框架。
主要应用
- 在操作技能库上进行强化学习
- 机器人足球及其他具有混合动作空间的游戏
- 结合导航与操作基元的长时程任务
- 为任务规划学习运动基元的参数
- 具有离散机动和连续目标的自动驾驶决策
实际应用
一个团队在仿真环境中训练机械臂打开柜门并把一个物体放进去。策略不是以 20 Hz 输出末端执行器速度,而是在每一步从五个基元中选择一个:伸手、抓取、推动、松开,或一个原子级的底层动作。伸手接受一个 3D 目标,抓取接受一个目标位置和一个偏航角,推动接受起始位置、方向和距离。策略网络输出基元类型上的类别分布,并为每种类型输出其参数上的高斯分布,只有所选类型的参数会影响梯度。每个基元运行一个脚本化的控制器,直到完成或超时,然后再做下一个决策。一个回合只需要少数几次决策,因此在底层策略失败的地方,学习取得了成功。
常见误解
- PAMDP 就是分层强化学习 — PAMDP 中的基元通常是固定的控制器,只有对基元的选择及其参数是学习得到的
- 参数可以简单地离散化 — 离散化会损失精度并使动作数量成倍增加,尤其是在基元有多个参数时
- 混合动作可以当作一个大的连续向量处理 — 这忽视了只有所选动作的参数才重要,并可能使学习不稳定
- 使用基元总能让任务变得更容易 — 设计不当的基元集合可能使任务无法完成,这就是许多系统保留底层动作作为后备的原因
谁需要了解
- 研究技能与基元的机器人学习研究人员
- 设计动作空间的强化学习工程师
- 任务与运动规划研究人员
- 游戏与多智能体 AI 开发者
相关技术
- Q-PAMDP
- P-DQN
- 选项框架(Options Framework)
- 半马尔可夫决策过程(Semi-Markov Decision Process)
- robosuite
相关术语
- Markov Decision Process (MDP)
- Motion Primitive
- Reinforcement Learning
- Task and Motion Planning
- Dynamic Movement Primitive
相关项目
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages