Partially Observable Markov Decision Process (POMDP)

Detto anche: POMDP, partially observable MDP
Categoria: Learning & autonomy › RL & simulation
Tag: decision-making, uncertainty, reinforcement-learning, planning, belief-space

Un quadro matematico per prendere decisioni quando un agente non può osservare direttamente lo stato completo del mondo e deve invece agire sulla base di osservazioni parziali e incerte.

Definizione

Processi decisionali di Markov parzialmente osservabili (POMDP) (partially observable Markov decision processes) estendono il processo decisionale di Markov (MDP) alle situazioni in cui l'agente non può vedere il vero stato del mondo. In un MDP l'agente osserva lo stato e sceglie un'azione. In un POMDP l'agente riceve solo osservazioni che dipendono in modo probabilistico dallo stato, quindi deve agire in condizioni di incertezza su dove si trova o su com'è il mondo.

Un POMDP è definito da stati, azioni, un modello di transizione che descrive come le azioni cambiano lo stato, una funzione di ricompensa, un insieme di osservazioni e un modello di osservazione che dà la probabilità di ogni osservazione in ogni stato, spesso con un fattore di sconto. L'articolo del 1998 di Kaelbling, Littman e Cassandra sulla pianificazione e l'azione in domini parzialmente osservabili è un riferimento standard.

L'idea centrale è lo stato di credenza (belief state): una distribuzione di probabilità sugli stati possibili, aggiornata con la regola di Bayes dopo ogni azione e osservazione. Una policy ottima per un POMDP associa azioni alle credenze anziché agli stati. Questo permette a comportamenti di raccolta di informazioni, come guardarsi intorno prima di agire o toccare un oggetto per localizzarlo, di emergere dal problema decisionale stesso.

Le soluzioni esatte sono computazionalmente intrattabili tranne che per problemi piccoli, quindi i metodi pratici ricorrono ad approssimazioni. L'iterazione del valore basata su punti, SARSOP e i metodi di ricerca ad albero Monte Carlo come POMCP sono comuni nella pianificazione. Nell'apprendimento per rinforzo profondo, l'osservabilità parziale si gestisce di solito fornendo alla policy una cronologia di osservazioni o una rete ricorrente, così che possa dedurre grandezze nascoste come le proprietà del terreno, lo stato di contatto o la massa del carico utile da ciò che ha percepito di recente.

Perché è importante

I robot reali non conoscono quasi mai il loro stato completo: i sensori sono rumorosi, gli oggetti sono occlusi e proprietà come l'attrito o il terreno sono nascoste. Il quadro dei POMDP rende esplicita questa incertezza e spiega perché le buone policy robotiche richiedono spesso memoria e comportamenti di raccolta di informazioni.

Applicazioni principali

Locomozione con gambe su terreni che il robot non riesce a percepire del tutto
Navigazione e localizzazione in presenza di incertezza dei sensori
Ricerca e manipolazione di oggetti con occlusioni
Interazione uomo-robot in cui l'intenzione umana non è direttamente osservabile

In pratica

Un team che addestra una policy di locomozione con gambe tramite apprendimento per rinforzo di solito tratta il problema come un POMDP: il robot reale percepisce gli stati dei giunti, un'unità di misura inerziale (IMU) e magari una mappa delle altezze, ma non l'attrito del suolo né la geometria esatta del terreno. Il team fornisce alla policy una finestra di osservazioni passate o una rete ricorrente, e spesso la addestra con un insegnante che ha accesso allo stato simulato completo, per poi distillarla in uno studente che usa solo le osservazioni di bordo. Per compiti di pianificazione classica, come cercare un oggetto, i team mantengono una credenza esplicita e usano un risolutore POMDP approssimato per scegliere le azioni.

Idee sbagliate comuni

I POMDP contano solo quando i sensori sono rumorosi — si applicano anche quando proprietà come massa, attrito o terreno sono nascoste persino a sensori perfetti
Un POMDP si può risolvere trattando l'ultima osservazione come lo stato — questo ignora la cronologia e può portare ad azioni scadenti o non sicure
I POMDP sono solo uno strumento teorico — risolutori approssimati e policy apprese dotate di memoria applicano il quadro a robot reali

Chi dovrebbe saperlo

Ricercatori di apprendimento per rinforzo che lavorano su robot reali
Ingegneri della pianificazione e del processo decisionale
Ingegneri della navigazione e della stima dello stato
Studenti di robotica che studiano il processo decisionale in condizioni di incertezza

Tecnologie correlate

Processo decisionale di Markov (Markov Decision Process)
Filtraggio bayesiano (Bayesian Filtering)
Apprendimento per rinforzo (Reinforcement Learning)
Reti neurali ricorrenti (Recurrent Neural Networks)
Ricerca ad albero Monte Carlo (Monte Carlo Tree Search)
Distillazione insegnante-studente (Teacher-Student Distillation)

Termini correlati

Progetti correlati

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
RLinf: Scalable infrastructure for post-training foundation models via RL

Video

POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language