Parameterized Action MDP
- Também chamado: PAMDP, parameterized action space MDP
- Categoria: Learning & autonomy › RL & simulation
- Tags: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions
Um processo de decisão de Markov cujas ações combinam uma escolha discreta, como qual habilidade usar, com parâmetros contínuos para essa escolha, como onde ou como executá-la.
Definição
Um processo de decisão de Markov com ações parametrizadas (parameterized action Markov decision process, PAMDP) é um MDP cujo espaço de ações é um híbrido de escolhas discretas e contínuas. Há um conjunto finito de ações discretas, e cada ação discreta a tem seu próprio espaço de parâmetros contínuos X_a. A cada passo de decisão, o agente escolhe uma ação discreta e um vetor de parâmetros para ela, de modo que a ação é um par (a, x) com x em X_a. Ações discretas diferentes podem ter parâmetros de dimensão e significado diferentes. Masson, Ranchod e Konidaris formalizaram esse cenário em 2016 e propuseram o Q-PAMDP, que alterna entre aprender qual ação discreta escolher e aprender as políticas de parâmetros de cada ação.
A estrutura é natural para robôs construídos em torno de habilidades ou primitivas. Um agente de manipulação pode escolher entre alcançar, pegar, empurrar e posicionar, cada uma com argumentos contínuos como uma posição-alvo, uma direção de empurrão ou uma orientação de preensão, e recorrer a ações atômicas de baixo nível quando nenhuma primitiva se encaixa. Um agente de futebol escolhe entre chutar, arrancar e girar, cada uma com parâmetros de potência ou de direção, que é o cenário da RoboCup usado por Hausknecht e Stone em 2016 para aprendizado por reforço profundo com ações parametrizadas. Como uma primitiva pode rodar por muitos ciclos de controle, o tempo entre decisões é variável, o que liga os PAMDPs aos semi-MDPs e ao arcabouço de opções, mas em um PAMDP as primitivas geralmente são controladores fixos projetados à mão, e não opções aprendidas.
O aprendizado em um PAMDP precisa de métodos que respeitem a estrutura híbrida. Abordagens comuns de RL profundo usam uma rede que produz um valor ou uma probabilidade para cada ação discreta junto com os parâmetros dessa ação, como o P-DQN de Xiong e colegas e suas variantes, ou políticas que produzem uma distribuição categórica sobre os tipos de primitiva e uma gaussiana sobre os parâmetros de cada tipo. Simplesmente discretizar os parâmetros perde precisão e faz o espaço de ações crescer rapidamente, enquanto tratar tudo como um único vetor contínuo grande descarta a informação de que só os parâmetros da ação escolhida importam.
Por que importa
O aprendizado por reforço com comandos de baixo nível para juntas ou para o efetuador final tem dificuldade com manipulação de horizonte longo, porque o problema de exploração é enorme. Deixar a política chamar habilidades parametrizadas encurta o horizonte efetivo, reaproveita o conhecimento de engenharia embutido nas primitivas e produz um comportamento mais fácil de inspecionar, e o PAMDP é o cenário formal para fazer isso.
Principais aplicações
- Aprendizado por reforço sobre bibliotecas de habilidades de manipulação
- Futebol de robôs e outros jogos com espaços de ações híbridos
- Tarefas de horizonte longo que combinam primitivas de navegação e de manipulação
- Aprendizado dos argumentos de primitivas de movimento para planejamento de tarefas
- Decisões de direção autônoma com manobras discretas e alvos contínuos
Na prática
Uma equipe treina um braço robótico para abrir um armário e colocar um objeto dentro, usando um ambiente simulado. Em vez de produzir velocidades do efetuador final a 20 Hz, a política escolhe a cada passo uma de cinco primitivas: alcançar, pegar, empurrar, soltar ou uma ação atômica de baixo nível. Alcançar recebe um alvo 3D, pegar recebe uma posição-alvo e um ângulo de guinada, e empurrar recebe uma posição inicial, uma direção e uma distância. A rede da política produz uma distribuição categórica sobre os tipos de primitiva e, para cada tipo, uma gaussiana sobre seus parâmetros, e só os parâmetros do tipo escolhido afetam o gradiente. Cada primitiva executa um controlador roteirizado até terminar ou esgotar o tempo, depois do que a próxima decisão é tomada. O episódio precisa de apenas um punhado de decisões, então o aprendizado dá certo onde uma política de baixo nível não deu.
Equívocos comuns
- Um PAMDP é o mesmo que aprendizado por reforço hierárquico — as primitivas de um PAMDP muitas vezes são controladores fixos; só a escolha da primitiva e seus parâmetros são aprendidos
- Os parâmetros podem simplesmente ser discretizados — a discretização perde precisão e multiplica o número de ações, principalmente quando as primitivas têm vários parâmetros
- Uma ação híbrida pode ser tratada como um único vetor contínuo grande — isso ignora que só os parâmetros da ação escolhida importam e pode tornar o aprendizado instável
- Usar primitivas sempre torna uma tarefa mais fácil — um conjunto de primitivas mal projetado pode tornar a tarefa impossível de concluir, e é por isso que muitos sistemas mantêm ações de baixo nível disponíveis como alternativa de reserva
Quem deve saber
- Pesquisadores de aprendizado robótico que trabalham com habilidades e primitivas
- Engenheiros de aprendizado por reforço que projetam espaços de ações
- Pesquisadores de planejamento de tarefas e movimentos
- Desenvolvedores de IA para jogos e sistemas multiagente
Tecnologias relacionadas
- Q-PAMDP
- P-DQN
- Arcabouço de opções (Options Framework)
- Processo de decisão semi-Markov (Semi-Markov Decision Process)
- robosuite
Termos relacionados
- Markov Decision Process (MDP)
- Motion Primitive
- Reinforcement Learning
- Task and Motion Planning
- Dynamic Movement Primitive
Projetos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages