Partially Observable Markov Decision Process (POMDP)
- Auch genannt: POMDP, partially observable MDP
- Kategorie: Learning & autonomy › RL & simulation
- Schlagwörter: decision-making, uncertainty, reinforcement-learning, planning, belief-space
Ein mathematischer Rahmen für Entscheidungen, wenn ein Agent den vollständigen Zustand der Welt nicht direkt beobachten kann und stattdessen auf Grundlage unsicherer, unvollständiger Beobachtungen handeln muss.
Definition
Teilweise beobachtbare Markov-Entscheidungsprozesse (Partially Observable Markov Decision Processes, POMDPs) erweitern den Markov-Entscheidungsprozess (MDP) auf Situationen, in denen der Agent den wahren Zustand der Welt nicht sehen kann. In einem MDP beobachtet der Agent den Zustand und wählt eine Aktion. In einem POMDP erhält der Agent nur Beobachtungen (Observations), die probabilistisch vom Zustand abhängen, und muss daher unter Unsicherheit darüber handeln, wo er sich befindet oder wie die Welt beschaffen ist.
Ein POMDP ist definiert durch Zustände, Aktionen, ein Übergangsmodell, das angibt, wie Aktionen den Zustand ändern, eine Belohnungsfunktion, eine Menge von Beobachtungen und ein Beobachtungsmodell, das die Wahrscheinlichkeit jeder Beobachtung in jedem Zustand angibt, oft zusammen mit einem Diskontfaktor. Die Arbeit von Kaelbling, Littman und Cassandra aus dem Jahr 1998 über Planen und Handeln in teilweise beobachtbaren Domänen ist eine Standardreferenz.
Die zentrale Idee ist der Belief-Zustand (Belief State): eine Wahrscheinlichkeitsverteilung über mögliche Zustände, die nach jeder Aktion und Beobachtung mit der Bayes-Regel aktualisiert wird. Eine optimale POMDP-Policy bildet Beliefs statt Zustände auf Aktionen ab. Dadurch kann informationssammelndes Verhalten, etwa sich vor dem Handeln umzusehen oder ein Objekt zu berühren, um es zu lokalisieren, aus dem Entscheidungsproblem selbst hervorgehen.
Exakte Lösungen sind außer bei kleinen Problemen rechnerisch nicht handhabbar, daher arbeiten praktische Methoden mit Näherungen. Punktbasierte Wertiteration, SARSOP und Monte-Carlo-Baumsuchverfahren wie POMCP sind in der Planung verbreitet. Im Deep Reinforcement Learning wird partielle Beobachtbarkeit meist dadurch behandelt, dass die Policy eine Historie von Beobachtungen oder ein rekurrentes Netz erhält, sodass sie verborgene Größen wie Geländeeigenschaften, Kontaktzustand oder Nutzlastmasse aus dem zuletzt Erfassten ableiten kann.
Warum es wichtig ist
Reale Roboter kennen ihren vollständigen Zustand fast nie: Sensoren sind verrauscht, Objekte sind verdeckt, und Eigenschaften wie Reibung oder Gelände sind verborgen. Der POMDP-Rahmen macht diese Unsicherheit explizit und erklärt, warum gute Roboter-Policies oft Gedächtnis und informationssammelndes Verhalten brauchen.
Wichtige Anwendungen
- Beinbasierte Fortbewegung über Gelände, das der Roboter nicht vollständig wahrnehmen kann
- Navigation und Lokalisierung unter Sensorunsicherheit
- Objektsuche und Manipulation bei Verdeckungen
- Mensch-Roboter-Interaktion, bei der die Absicht des Menschen nicht direkt beobachtbar ist
In der Praxis
Ein Team, das eine Policy für beinbasierte Fortbewegung mit Reinforcement Learning trainiert, behandelt das Problem typischerweise als POMDP: Der reale Roboter erfasst Gelenkzustände, eine IMU und vielleicht eine Höhenkarte, aber nicht die Bodenreibung oder die genaue Geländegeometrie. Das Team gibt der Policy ein Fenster vergangener Beobachtungen oder ein rekurrentes Netz und trainiert sie oft mit einem Teacher, der Zugriff auf den vollständigen simulierten Zustand hat, um sie dann in einen Student zu destillieren, der nur Onboard-Beobachtungen nutzt. Für klassische Planungsaufgaben, etwa die Suche nach einem Objekt, führen Teams einen expliziten Belief und nutzen einen näherungsweisen POMDP-Löser, um Aktionen zu wählen.
Häufige Missverständnisse
- POMDPs spielen nur bei verrauschten Sensoren eine Rolle — sie gelten auch, wenn Eigenschaften wie Masse, Reibung oder Gelände selbst für perfekte Sensoren verborgen sind
- Ein POMDP lässt sich lösen, indem man die jüngste Beobachtung als Zustand behandelt — das ignoriert die Historie und kann zu schlechten oder unsicheren Aktionen führen
- POMDPs sind nur ein theoretisches Werkzeug — Näherungslöser und gedächtnisbasierte gelernte Policies wenden den Rahmen auf reale Roboter an
Wer das wissen sollte
- Reinforcement-Learning-Forschende, die mit realen Robotern arbeiten
- Ingenieure für Planung und Entscheidungsfindung
- Ingenieure für Navigation und Zustandsschätzung
- Robotik-Studierende, die sich mit Entscheidungen unter Unsicherheit befassen
Verwandte Technologien
- Markov-Entscheidungsprozess (Markov Decision Process)
- Bayes-Filterung (Bayesian Filtering)
- Reinforcement Learning
- Rekurrente neuronale Netze (Recurrent Neural Networks)
- Monte-Carlo-Baumsuche (Monte Carlo Tree Search)
- Teacher-Student-Distillation (Teacher-Student Distillation)
Verwandte Begriffe
Verwandte Projekte
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- RLinf: Scalable infrastructure for post-training foundation models via RL
Videos
- POMDPs: Partially Observable Markov Decision Processes | Decision Making Under Uncertainty POMDPs.jl: The Julia Programming Language