Partially Observable Markov Decision Process (POMDP)
- Aussi appelé: POMDP, partially observable MDP
- Catégorie: Learning & autonomy › RL & simulation
- Mots-clés: decision-making, uncertainty, reinforcement-learning, planning, belief-space
Cadre mathématique pour la prise de décision lorsqu'un agent ne peut pas observer directement l'état complet du monde et doit agir à partir d'observations partielles et incertaines.
Définition
Processus de décision markoviens partiellement observables (partially observable Markov decision processes, POMDP) : extension du processus de décision markovien (MDP) aux situations où l'agent ne peut pas voir l'état réel du monde. Dans un MDP, l'agent observe l'état et choisit une action. Dans un POMDP, l'agent ne reçoit que des observations (observations) qui dépendent de l'état de manière probabiliste, et doit donc agir dans l'incertitude quant à l'endroit où il se trouve ou à l'état du monde.
Un POMDP est défini par des états, des actions, un modèle de transition qui indique comment les actions modifient l'état, une fonction de récompense, un ensemble d'observations et un modèle d'observation qui donne la probabilité de chaque observation dans chaque état, souvent avec un facteur d'actualisation. L'article de Kaelbling, Littman et Cassandra de 1998 sur la planification et l'action dans des domaines partiellement observables est une référence classique.
L'idée centrale est l'état de croyance (belief state) : une distribution de probabilité sur les états possibles, mise à jour par la règle de Bayes après chaque action et observation. Une politique POMDP optimale associe des actions aux croyances plutôt qu'aux états. Cela permet à des comportements de collecte d'information, comme regarder autour de soi avant d'agir ou toucher un objet pour le localiser, d'émerger du problème de décision lui-même.
Les solutions exactes sont intraitables en calcul sauf pour de petits problèmes, de sorte que les méthodes pratiques procèdent par approximation. L'itération de valeur par points, SARSOP et les méthodes de recherche arborescente Monte-Carlo comme POMCP sont courantes en planification. En apprentissage par renforcement profond, l'observabilité partielle est généralement traitée en fournissant à la politique un historique d'observations ou un réseau récurrent, afin qu'elle puisse inférer des grandeurs cachées comme les propriétés du terrain, l'état de contact ou la masse de la charge utile à partir de ce qu'elle a perçu récemment.
Pourquoi c'est important
Les robots réels ne connaissent presque jamais leur état complet : les capteurs sont bruités, les objets sont occultés, et des propriétés comme le frottement ou le terrain sont cachées. Le cadre POMDP rend cette incertitude explicite et explique pourquoi les bonnes politiques robotiques ont souvent besoin de mémoire et de comportements de collecte d'information.
Applications principales
- Locomotion à pattes sur un terrain que le robot ne peut pas percevoir entièrement
- Navigation et localisation sous incertitude des capteurs
- Recherche d'objets et manipulation avec occultations
- Interaction humain-robot où l'intention humaine n'est pas directement observable
En pratique
Une équipe qui entraîne une politique de locomotion à pattes par apprentissage par renforcement traite généralement le problème comme un POMDP : le robot réel perçoit les états articulaires, une IMU et éventuellement une carte de hauteur, mais pas le frottement du sol ni la géométrie exacte du terrain. Elle fournit à la politique une fenêtre d'observations passées ou un réseau récurrent, et l'entraîne souvent avec un enseignant qui a accès à l'état simulé complet, avant de la distiller dans un élève qui n'utilise que les observations embarquées. Pour des tâches de planification classiques, comme la recherche d'un objet, les équipes maintiennent une croyance explicite et utilisent un solveur POMDP approché pour choisir les actions.
Idées reçues
- Les POMDP ne comptent que lorsque les capteurs sont bruités — ils s'appliquent aussi lorsque des propriétés comme la masse, le frottement ou le terrain sont cachées même à des capteurs parfaits
- On peut résoudre un POMDP en traitant la dernière observation comme l'état — cela ignore l'historique et peut conduire à des actions mauvaises ou dangereuses
- Les POMDP ne sont qu'un outil théorique — des solveurs approchés et des politiques apprises dotées de mémoire appliquent ce cadre à des robots réels
Qui devrait le savoir
- Chercheurs en apprentissage par renforcement travaillant sur des robots réels
- Ingénieurs en planification et en prise de décision
- Ingénieurs en navigation et en estimation d'état
- Étudiants en robotique qui étudient la prise de décision dans l'incertitude
Technologies associées
- Processus de décision markovien (Markov Decision Process)
- Filtrage bayésien (Bayesian Filtering)
- Apprentissage par renforcement (Reinforcement Learning)
- Réseaux de neurones récurrents (Recurrent Neural Networks)
- Recherche arborescente Monte-Carlo (Monte Carlo Tree Search)
- Distillation enseignant-élève (Teacher-Student Distillation)
Termes associés
Projets associés
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- RLinf: Scalable infrastructure for post-training foundation models via RL
Vidéos
- POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language