Open Source Robotics

精选高质量开源机器人项目、工具和软件，推动机器人社区发展。

Partially Observable Markov Decision Process (POMDP)

  • 又称: POMDP, partially observable MDP
  • 类别: Learning & autonomy › RL & simulation
  • 标签: decision-making, uncertainty, reinforcement-learning, planning, belief-space

一种数学框架，用于智能体无法直接观测世界完整状态、只能依据不确定的部分观测采取行动时的决策。

定义

部分可观测马尔可夫决策过程（Partially observable Markov decision processes，POMDP）把马尔可夫决策过程（MDP）扩展到智能体无法看到世界真实状态的情形。在 MDP 中，智能体观测到状态并选择动作。在 POMDP 中，智能体只能得到以概率方式依赖于状态的观测，因此它必须在不确定自己身在何处或世界是什么样子的情况下行动。

一个 POMDP 由以下要素定义：状态、动作、描述动作如何改变状态的转移模型、奖励函数、观测集合，以及给出每个状态下每种观测概率的观测模型，通常还有一个折扣因子。Kaelbling、Littman 和 Cassandra 于 1998 年发表的关于在部分可观测领域中规划与行动的论文是一篇标准参考文献。

核心思想是信念状态：一个关于可能状态的概率分布，在每次动作和观测之后用贝叶斯法则更新。最优的 POMDP 策略把信念而不是状态映射到动作。这使得信息收集行为，例如在行动前先四处查看，或通过触碰物体来确定其位置，能够从决策问题本身中自然产生。

除了小规模问题之外，精确求解在计算上是不可行的，因此实用方法都采用近似。基于点的值迭代、SARSOP 以及 POMCP 等蒙特卡洛树搜索方法在规划中很常见。在深度强化学习中，部分可观测性通常通过为策略提供观测历史或循环网络来处理，使其能够从最近感知到的信息中推断地形属性、接触状态或负载质量等隐藏量。

为何重要

真实的机器人几乎从不知道自己的完整状态：传感器有噪声，物体会被遮挡，摩擦或地形等属性是隐藏的。POMDP 框架把这种不确定性明确表达出来，并解释了为什么好的机器人策略往往需要记忆和信息收集行为。

主要应用

  • 在机器人无法完全感知的地形上进行腿足运动
  • 在传感器不确定性下进行导航和定位
  • 存在遮挡时的物体搜索和操作
  • 人类意图无法直接观测的人机交互

实际应用

用强化学习训练腿足运动策略的团队通常把问题当作 POMDP 来处理：真实机器人能感知关节状态、IMU，或许还有高度图，但感知不到地面摩擦或精确的地形几何。他们为策略提供一个过去观测的窗口或一个循环网络，并且常常先用一个能获取完整仿真状态的教师来训练，再蒸馏成一个只使用机载观测的学生。对于搜索物体之类的经典规划任务，团队会维护一个显式的信念，并使用近似 POMDP 求解器来选择动作。

常见误解

  • 只有传感器有噪声时 POMDP 才重要 — 当质量、摩擦或地形等属性即使对完美的传感器也是隐藏的时候，它同样适用
  • 把最新的观测当作状态就能求解 POMDP — 这会忽略历史，可能导致糟糕或不安全的动作
  • POMDP 只是一种理论工具 — 近似求解器和基于记忆的学习型策略把这一框架应用到了真实机器人上

谁需要了解

  • 在真实机器人上开展研究的强化学习研究人员
  • 规划与决策工程师
  • 导航和状态估计工程师
  • 学习不确定性下决策的机器人专业学生

相关技术

  • 马尔可夫决策过程（Markov Decision Process）
  • 贝叶斯滤波（Bayesian Filtering）
  • 强化学习（Reinforcement Learning）
  • 循环神经网络（Recurrent Neural Networks）
  • 蒙特卡洛树搜索（Monte Carlo Tree Search）
  • 教师-学生蒸馏（Teacher-Student Distillation）

相关术语

  • Reinforcement Learning
  • Sim2Real
  • Sensor Fusion

相关项目

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • RLinf: Scalable infrastructure for post-training foundation models via RL

视频

  • POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language

维基百科

  • 部分可觀察馬可夫決策過程

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。