Partially Observable Markov Decision Process (POMDP)

Também chamado: POMDP, partially observable MDP
Categoria: Learning & autonomy › RL & simulation
Tags: decision-making, uncertainty, reinforcement-learning, planning, belief-space

Um arcabouço matemático para tomada de decisão quando um agente não consegue observar diretamente o estado completo do mundo e precisa agir com base em observações parciais e incertas.

Definição

Processos de decisão de Markov parcialmente observáveis (POMDPs) (partially observable Markov decision processes) estendem o processo de decisão de Markov (MDP) a situações em que o agente não consegue ver o estado real do mundo. Em um MDP, o agente observa o estado e escolhe uma ação. Em um POMDP, o agente recebe apenas observações que dependem probabilisticamente do estado, então precisa agir sob incerteza sobre onde está ou como é o mundo.

Um POMDP é definido por estados, ações, um modelo de transição que indica como as ações mudam o estado, uma função de recompensa, um conjunto de observações e um modelo de observação que dá a probabilidade de cada observação em cada estado, muitas vezes com um fator de desconto. O artigo de 1998 de Kaelbling, Littman e Cassandra sobre planejar e agir em domínios parcialmente observáveis é uma referência padrão.

A ideia central é o estado de crença (belief state): uma distribuição de probabilidade sobre os estados possíveis, atualizada com a regra de Bayes após cada ação e observação. Uma política ótima de um POMDP mapeia crenças, e não estados, em ações. Isso permite que comportamentos de coleta de informação, como olhar ao redor antes de agir ou tocar um objeto para localizá-lo, surjam do próprio problema de decisão.

Soluções exatas são computacionalmente intratáveis exceto para problemas pequenos, então os métodos práticos fazem aproximações. Iteração de valor baseada em pontos, SARSOP e métodos de busca em árvore de Monte Carlo como o POMCP são comuns em planejamento. No aprendizado por reforço profundo, a observabilidade parcial costuma ser tratada dando à política um histórico de observações ou uma rede recorrente, para que ela possa inferir grandezas ocultas como propriedades do terreno, estado de contato ou massa da carga útil a partir do que percebeu recentemente.

Por que importa

Robôs reais quase nunca conhecem seu estado completo: os sensores têm ruído, objetos ficam oclusos e propriedades como atrito ou terreno ficam ocultas. O arcabouço POMDP torna essa incerteza explícita e explica por que boas políticas de robôs muitas vezes precisam de memória e de comportamentos de coleta de informação.

Principais aplicações

Locomoção com pernas sobre terrenos que o robô não consegue perceber por completo
Navegação e localização sob incerteza dos sensores
Busca e manipulação de objetos com oclusões
Interação humano-robô em que a intenção humana não é diretamente observável

Na prática

Uma equipe que treina uma política de locomoção com pernas por aprendizado por reforço normalmente trata o problema como um POMDP: o robô real percebe os estados das juntas, uma IMU e talvez um mapa de alturas, mas não o atrito do solo nem a geometria exata do terreno. A equipe dá à política uma janela de observações passadas ou uma rede recorrente e muitas vezes a treina com um professor que tem acesso ao estado simulado completo, destilando depois em um aluno que usa apenas observações embarcadas. Para tarefas de planejamento clássico, como procurar um objeto, as equipes mantêm uma crença explícita e usam um solucionador aproximado de POMDP para escolher ações.

Equívocos comuns

POMDPs só importam quando os sensores têm ruído — eles também se aplicam quando propriedades como massa, atrito ou terreno ficam ocultas mesmo para sensores perfeitos
Um POMDP pode ser resolvido tratando a última observação como o estado — isso ignora o histórico e pode levar a ações ruins ou inseguras
POMDPs são apenas uma ferramenta teórica — solucionadores aproximados e políticas aprendidas com memória aplicam o arcabouço a robôs reais

Quem deve saber

Pesquisadores de aprendizado por reforço que trabalham com robôs reais
Engenheiros de planejamento e tomada de decisão
Engenheiros de navegação e estimação de estado
Estudantes de robótica que estudam tomada de decisão sob incerteza

Tecnologias relacionadas

Processo de decisão de Markov (Markov Decision Process)
Filtragem bayesiana (Bayesian Filtering)
Aprendizado por reforço (Reinforcement Learning)
Redes neurais recorrentes (Recurrent Neural Networks)
Busca em árvore de Monte Carlo (Monte Carlo Tree Search)
Destilação professor-aluno (Teacher-Student Distillation)

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
RLinf: Scalable infrastructure for post-training foundation models via RL

Vídeos

POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language