Parameterized Action MDP
- Detto anche: PAMDP, parameterized action space MDP
- Categoria: Learning & autonomy › RL & simulation
- Tag: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions
Un processo decisionale di Markov le cui azioni abbinano una scelta discreta, come quale skill usare, a parametri continui per quella scelta, come dove o come eseguirla.
Definizione
Un processo decisionale di Markov con azioni parametrizzate (parameterized action Markov decision process, PAMDP) è un MDP il cui spazio delle azioni è un ibrido di scelte discrete e continue. C'è un insieme finito di azioni discrete, e ogni azione discreta a ha il proprio spazio di parametri continui X_a. A ogni passo decisionale l'agente sceglie un'azione discreta e un vettore di parametri per essa, per cui l'azione è una coppia (a, x) con x in X_a. Azioni discrete diverse possono avere parametri di dimensione e significato diversi. Masson, Ranchod e Konidaris hanno formalizzato questo contesto nel 2016 e proposto Q-PAMDP, che alterna tra l'apprendimento di quale azione discreta scegliere e l'apprendimento delle policy dei parametri per ciascuna azione.
La struttura è naturale per i robot costruiti attorno a skill o primitive. Un agente di manipolazione potrebbe scegliere tra raggiungere, afferrare, spingere e posizionare, ciascuna con argomenti continui come una posizione obiettivo, una direzione di spinta o un orientamento di presa, e ripiegare su azioni atomiche di basso livello quando nessuna primitiva è adatta. Un agente di calcio sceglie tra calciare, scattare e girarsi, ciascuna con parametri di potenza o di direzione, che è il contesto RoboCup usato da Hausknecht e Stone nel 2016 per l'apprendimento per rinforzo profondo con azioni parametrizzate. Poiché una primitiva può durare molti cicli di controllo, il tempo tra una decisione e l'altra è variabile, il che collega i PAMDP ai semi-MDP e al framework delle opzioni, ma in un PAMDP le primitive sono di solito controllori fissi progettati a mano anziché opzioni apprese.
L'apprendimento in un PAMDP richiede metodi che rispettino la struttura ibrida. Gli approcci comuni di RL profondo usano una rete che restituisce un valore o una probabilità per ogni azione discreta insieme ai parametri di quell'azione, come P-DQN di Xiong e colleghi e le sue varianti, oppure policy che restituiscono una distribuzione categorica sui tipi di primitiva e una gaussiana sui parametri di ciascun tipo. Discretizzare semplicemente i parametri fa perdere precisione e fa crescere rapidamente lo spazio delle azioni, mentre trattare tutto come un unico grande vettore continuo scarta l'informazione che contano solo i parametri dell'azione scelta.
Perché è importante
L'apprendimento per rinforzo con comandi di basso livello ai giunti o all'end effector fatica nella manipolazione a lungo orizzonte perché il problema dell'esplorazione è enorme. Permettere alla policy di richiamare skill parametrizzate accorcia l'orizzonte effettivo, riusa le conoscenze ingegneristiche incorporate nelle primitive e produce un comportamento più facile da ispezionare, e il PAMDP è il contesto formale per farlo.
Applicazioni principali
- Apprendimento per rinforzo su librerie di skill di manipolazione
- Calcio robotico e altri giochi con spazi delle azioni ibridi
- Compiti a lungo orizzonte che combinano primitive di navigazione e di manipolazione
- Apprendimento degli argomenti delle primitive di movimento per la pianificazione dei compiti
- Decisioni di guida autonoma con manovre discrete e obiettivi continui
In pratica
Un team addestra un braccio robotico ad aprire un armadietto e a metterci dentro un oggetto, usando un ambiente simulato. Invece di produrre velocità dell'end effector a 20 Hz, la policy sceglie a ogni passo una di cinque primitive: raggiungere, afferrare, spingere, rilasciare o un'azione atomica di basso livello. Raggiungere riceve un obiettivo 3D, afferrare riceve una posizione obiettivo e un angolo di imbardata, e spingere riceve una posizione di partenza, una direzione e una distanza. La rete della policy restituisce una distribuzione categorica sui tipi di primitiva e, per ogni tipo, una gaussiana sui suoi parametri, e solo i parametri del tipo scelto influiscono sul gradiente. Ogni primitiva esegue un controllore programmato finché non termina o va in timeout, dopo di che si prende la decisione successiva. L'episodio richiede solo una manciata di decisioni, per cui l'apprendimento riesce dove una policy di basso livello non ci era riuscita.
Idee sbagliate comuni
- Un PAMDP è la stessa cosa dell'apprendimento per rinforzo gerarchico — le primitive di un PAMDP sono spesso controllori fissi; si apprendono solo la scelta della primitiva e i suoi parametri
- I parametri si possono semplicemente discretizzare — la discretizzazione fa perdere precisione e moltiplica il numero di azioni, soprattutto quando le primitive hanno diversi parametri
- Un'azione ibrida si può trattare come un unico grande vettore continuo — così si ignora che contano solo i parametri dell'azione scelta e si può rendere instabile l'apprendimento
- Usare primitive rende sempre più facile un compito — un insieme di primitive mal progettato può rendere il compito impossibile da completare, ed è per questo che molti sistemi mantengono disponibili azioni di basso livello come ripiego
Chi dovrebbe saperlo
- Ricercatori di apprendimento robotico che lavorano con skill e primitive
- Ingegneri dell'apprendimento per rinforzo che progettano spazi delle azioni
- Ricercatori di pianificazione di compiti e movimenti
- Sviluppatori di IA per giochi e sistemi multi-agente
Tecnologie correlate
- Q-PAMDP
- P-DQN
- Framework delle opzioni (Options Framework)
- Processo decisionale semi-Markov (Semi-Markov Decision Process)
- robosuite
Termini correlati
- Markov Decision Process (MDP)
- Motion Primitive
- Reinforcement Learning
- Task and Motion Planning
- Dynamic Movement Primitive
Progetti correlati
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages