Parameterized Action MDP
- Auch genannt: PAMDP, parameterized action space MDP
- Kategorie: Learning & autonomy › RL & simulation
- Schlagwörter: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions
Ein Markov-Entscheidungsprozess, dessen Aktionen eine diskrete Wahl, etwa welcher Skill verwendet wird, mit kontinuierlichen Parametern für diese Wahl kombinieren, etwa wo oder wie er ausgeführt wird.
Definition
Ein Markov-Entscheidungsprozess mit parametrisierten Aktionen (parameterized action Markov decision process, PAMDP) ist ein MDP, dessen Aktionsraum eine Mischung aus diskreten und kontinuierlichen Wahlmöglichkeiten ist. Es gibt eine endliche Menge diskreter Aktionen, und jede diskrete Aktion a hat ihren eigenen Raum kontinuierlicher Parameter X_a. In jedem Entscheidungsschritt wählt der Agent eine diskrete Aktion und einen Parametervektor dafür, sodass die Aktion ein Paar (a, x) mit x in X_a ist. Verschiedene diskrete Aktionen können Parameter unterschiedlicher Dimension und Bedeutung haben. Masson, Ranchod und Konidaris formalisierten diesen Rahmen 2016 und schlugen Q-PAMDP vor, das abwechselnd lernt, welche diskrete Aktion zu wählen ist, und die Parameter-Policies für jede Aktion lernt.
Die Struktur liegt nahe für Roboter, die um Skills oder Primitive herum aufgebaut sind. Ein Manipulationsagent könnte zwischen Hinreichen, Greifen, Schieben und Ablegen wählen, jeweils mit kontinuierlichen Argumenten wie einer Zielposition, einer Schieberichtung oder einer Grifforientierung, und auf atomare Aktionen niedriger Ebene zurückgreifen, wenn kein Primitiv passt. Ein Fußballagent wählt zwischen Schießen, Sprinten und Drehen, jeweils mit Parametern für Kraft oder Richtung; das ist das RoboCup-Szenario, das Hausknecht und Stone 2016 für Deep Reinforcement Learning mit parametrisierten Aktionen verwendeten. Da ein Primitiv über viele Regelzyklen laufen kann, ist die Zeit zwischen Entscheidungen variabel, was PAMDPs mit Semi-MDPs und dem Options-Framework verbindet; in einem PAMDP sind die Primitive aber meist feste, von Hand entworfene Regler und keine gelernten Optionen.
Lernen in einem PAMDP erfordert Methoden, die die hybride Struktur berücksichtigen. Verbreitete Deep-RL-Ansätze verwenden ein Netz, das für jede diskrete Aktion einen Wert oder eine Wahrscheinlichkeit zusammen mit den Parametern dieser Aktion ausgibt, wie P-DQN von Xiong und Kollegen und seine Varianten, oder Policies, die eine kategoriale Verteilung über Primitivtypen und eine Gaußverteilung über die Parameter jedes Typs ausgeben. Die Parameter einfach zu diskretisieren kostet Genauigkeit und lässt den Aktionsraum schnell wachsen, während die Behandlung von allem als einem großen kontinuierlichen Vektor die Information verwirft, dass nur die Parameter der gewählten Aktion zählen.
Warum es wichtig ist
Reinforcement Learning mit Gelenk- oder Endeffektor-Befehlen auf niedriger Ebene tut sich bei Manipulation mit langem Horizont schwer, weil das Explorationsproblem enorm ist. Darf die Policy parametrisierte Skills aufrufen, verkürzt das den effektiven Horizont, nutzt das in den Primitiven steckende Ingenieurwissen und erzeugt Verhalten, das leichter zu überprüfen ist; der PAMDP ist der formale Rahmen dafür.
Wichtige Anwendungen
- Reinforcement Learning über Bibliotheken von Manipulations-Skills
- Roboterfußball und andere Spiele mit hybriden Aktionsräumen
- Aufgaben mit langem Horizont, die Navigations- und Manipulationsprimitive kombinieren
- Lernen der Argumente von Bewegungsprimitiven für die Aufgabenplanung
- Entscheidungen beim autonomen Fahren mit diskreten Manövern und kontinuierlichen Zielen
In der Praxis
Ein Team trainiert einen Roboterarm in einer simulierten Umgebung darauf, einen Schrank zu öffnen und ein Objekt hineinzulegen. Statt mit 20 Hz Endeffektor-Geschwindigkeiten auszugeben, wählt die Policy in jedem Schritt eines von fünf Primitiven: Hinreichen, Greifen, Schieben, Loslassen oder eine atomare Aktion niedriger Ebene. Hinreichen erhält ein 3D-Ziel, Greifen eine Zielposition und einen Gierwinkel, Schieben eine Startposition, eine Richtung und eine Strecke. Das Policy-Netz gibt eine kategoriale Verteilung über Primitivtypen und für jeden Typ eine Gaußverteilung über dessen Parameter aus, und nur die Parameter des gewählten Typs beeinflussen den Gradienten. Jedes Primitiv führt einen geskripteten Regler aus, bis es fertig ist oder eine Zeitüberschreitung eintritt, danach fällt die nächste Entscheidung. Die Episode braucht nur eine Handvoll Entscheidungen, daher gelingt das Lernen, wo eine Policy auf niedriger Ebene gescheitert war.
Häufige Missverständnisse
- Ein PAMDP ist dasselbe wie hierarchisches Reinforcement Learning — die Primitive in einem PAMDP sind oft feste Regler; gelernt werden nur die Wahl des Primitivs und seine Parameter
- Die Parameter lassen sich einfach diskretisieren — Diskretisierung kostet Genauigkeit und vervielfacht die Zahl der Aktionen, besonders wenn Primitive mehrere Parameter haben
- Eine hybride Aktion kann als ein großer kontinuierlicher Vektor behandelt werden — das übergeht, dass nur die Parameter der gewählten Aktion zählen, und kann das Lernen instabil machen
- Primitive machen eine Aufgabe immer leichter — eine schlecht entworfene Menge von Primitiven kann die Aufgabe unlösbar machen, weshalb viele Systeme Aktionen niedriger Ebene als Rückfallebene verfügbar halten
Wer das wissen sollte
- Forschende im Roboterlernen, die mit Skills und Primitiven arbeiten
- Reinforcement-Learning-Ingenieure, die Aktionsräume entwerfen
- Forschende in Aufgaben- und Bewegungsplanung
- Entwickler von Spiele- und Multi-Agenten-KI
Verwandte Technologien
- Q-PAMDP
- P-DQN
- Options-Framework (Options Framework)
- Semi-Markov-Entscheidungsprozess (Semi-Markov Decision Process)
- robosuite
Verwandte Begriffe
- Markov Decision Process (MDP)
- Motion Primitive
- Reinforcement Learning
- Task and Motion Planning
- Dynamic Movement Primitive
Verwandte Projekte
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages