Partially Observable Markov Decision Process (POMDP)

• También llamado: POMDP, partially observable MDP
• Categoría: Learning & autonomy › RL & simulation
• Etiquetas: decision-making, uncertainty, reinforcement-learning, planning, belief-space

Un marco matemático para la toma de decisiones cuando un agente no puede observar directamente el estado completo del mundo y debe actuar en su lugar a partir de observaciones parciales e inciertas.

Definición

Procesos de decisión de Markov parcialmente observables (POMDP) (partially observable Markov decision processes) extienden el proceso de decisión de Markov (MDP) a situaciones en las que el agente no puede ver el estado real del mundo. En un MDP, el agente observa el estado y elige una acción. En un POMDP, el agente solo recibe observaciones que dependen probabilísticamente del estado, por lo que debe actuar con incertidumbre sobre dónde está o cómo es el mundo.

Un POMDP se define por estados, acciones, un modelo de transición que indica cómo cambian las acciones el estado, una función de recompensa, un conjunto de observaciones y un modelo de observación que da la probabilidad de cada observación en cada estado, a menudo con un factor de descuento. El artículo de 1998 de Kaelbling, Littman y Cassandra sobre planificar y actuar en dominios parcialmente observables es una referencia estándar.

La idea central es el estado de creencia (belief state): una distribución de probabilidad sobre los estados posibles, actualizada con la regla de Bayes tras cada acción y observación. Una política óptima de un POMDP asigna acciones a creencias, en lugar de a estados. Esto permite que conductas de recogida de información, como mirar alrededor antes de actuar o tocar un objeto para localizarlo, surjan del propio problema de decisión.

Las soluciones exactas son computacionalmente intratables salvo para problemas pequeños, por lo que los métodos prácticos aproximan. La iteración de valor basada en puntos, SARSOP y los métodos de búsqueda en árbol de Monte Carlo como POMCP son habituales en planificación. En el aprendizaje por refuerzo profundo, la observabilidad parcial suele tratarse dando a la política un historial de observaciones o una red recurrente, para que pueda inferir magnitudes ocultas como las propiedades del terreno, el estado de contacto o la masa de la carga útil a partir de lo que ha percibido recientemente.

Por qué importa

Los robots reales casi nunca conocen su estado completo: los sensores tienen ruido, los objetos quedan ocultos y propiedades como la fricción o el terreno no son visibles. El marco POMDP hace explícita esta incertidumbre y explica por qué las buenas políticas de robots a menudo necesitan memoria y conductas de recogida de información.

Aplicaciones clave

• Locomoción con patas sobre terrenos que el robot no puede percibir por completo
• Navegación y localización con incertidumbre de los sensores
• Búsqueda y manipulación de objetos con oclusiones
• Interacción humano-robot en la que la intención humana no es directamente observable

En la práctica

Un equipo que entrena una política de locomoción con patas mediante aprendizaje por refuerzo normalmente trata el problema como un POMDP: el robot real percibe los estados de las articulaciones, una unidad de medición inercial (IMU) y quizá un mapa de alturas, pero no la fricción del suelo ni la geometría exacta del terreno. Dan a la política una ventana de observaciones pasadas o una red recurrente, y a menudo la entrenan con un profesor que tiene acceso al estado simulado completo, para después destilarla en un alumno que solo usa observaciones a bordo. Para tareas de planificación clásica, como buscar un objeto, los equipos mantienen una creencia explícita y usan un solucionador aproximado de POMDP para elegir acciones.

Ideas erróneas comunes

• Los POMDP solo importan cuando los sensores tienen ruido — también se aplican cuando propiedades como la masa, la fricción o el terreno están ocultas incluso para sensores perfectos
• Un POMDP puede resolverse tratando la última observación como el estado — esto ignora el historial y puede conducir a acciones deficientes o inseguras
• Los POMDP son solo una herramienta teórica — los solucionadores aproximados y las políticas aprendidas con memoria aplican el marco a robots reales

Quién debería saberlo

• Investigadores en aprendizaje por refuerzo que trabajan con robots reales
• Ingenieros de planificación y toma de decisiones
• Ingenieros de navegación y estimación de estado
• Estudiantes de robótica que estudian la toma de decisiones con incertidumbre

Tecnologías relacionadas

• Proceso de decisión de Markov (Markov Decision Process)
• Filtrado bayesiano (Bayesian Filtering)
• Aprendizaje por refuerzo (Reinforcement Learning)
• Redes neuronales recurrentes (Recurrent Neural Networks)
• Búsqueda en árbol de Monte Carlo (Monte Carlo Tree Search)
• Destilación profesor-alumno (Teacher-Student Distillation)

Términos relacionados

• Reinforcement Learning
• Sim2Real
• Sensor Fusion

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• RLinf: Scalable infrastructure for post-training foundation models via RL

Vídeos

• POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language