Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Parameterized Action MDP

  • Também chamado: PAMDP, parameterized action space MDP
  • Categoria: Learning & autonomy › RL & simulation
  • Tags: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions

Um processo de decisão de Markov cujas ações combinam uma escolha discreta, como qual habilidade usar, com parâmetros contínuos para essa escolha, como onde ou como executá-la.

Definição

Um processo de decisão de Markov com ações parametrizadas (parameterized action Markov decision process, PAMDP) é um MDP cujo espaço de ações é um híbrido de escolhas discretas e contínuas. Há um conjunto finito de ações discretas, e cada ação discreta a tem seu próprio espaço de parâmetros contínuos X_a. A cada passo de decisão, o agente escolhe uma ação discreta e um vetor de parâmetros para ela, de modo que a ação é um par (a, x) com x em X_a. Ações discretas diferentes podem ter parâmetros de dimensão e significado diferentes. Masson, Ranchod e Konidaris formalizaram esse cenário em 2016 e propuseram o Q-PAMDP, que alterna entre aprender qual ação discreta escolher e aprender as políticas de parâmetros de cada ação.

A estrutura é natural para robôs construídos em torno de habilidades ou primitivas. Um agente de manipulação pode escolher entre alcançar, pegar, empurrar e posicionar, cada uma com argumentos contínuos como uma posição-alvo, uma direção de empurrão ou uma orientação de preensão, e recorrer a ações atômicas de baixo nível quando nenhuma primitiva se encaixa. Um agente de futebol escolhe entre chutar, arrancar e girar, cada uma com parâmetros de potência ou de direção, que é o cenário da RoboCup usado por Hausknecht e Stone em 2016 para aprendizado por reforço profundo com ações parametrizadas. Como uma primitiva pode rodar por muitos ciclos de controle, o tempo entre decisões é variável, o que liga os PAMDPs aos semi-MDPs e ao arcabouço de opções, mas em um PAMDP as primitivas geralmente são controladores fixos projetados à mão, e não opções aprendidas.

O aprendizado em um PAMDP precisa de métodos que respeitem a estrutura híbrida. Abordagens comuns de RL profundo usam uma rede que produz um valor ou uma probabilidade para cada ação discreta junto com os parâmetros dessa ação, como o P-DQN de Xiong e colegas e suas variantes, ou políticas que produzem uma distribuição categórica sobre os tipos de primitiva e uma gaussiana sobre os parâmetros de cada tipo. Simplesmente discretizar os parâmetros perde precisão e faz o espaço de ações crescer rapidamente, enquanto tratar tudo como um único vetor contínuo grande descarta a informação de que só os parâmetros da ação escolhida importam.

Por que importa

O aprendizado por reforço com comandos de baixo nível para juntas ou para o efetuador final tem dificuldade com manipulação de horizonte longo, porque o problema de exploração é enorme. Deixar a política chamar habilidades parametrizadas encurta o horizonte efetivo, reaproveita o conhecimento de engenharia embutido nas primitivas e produz um comportamento mais fácil de inspecionar, e o PAMDP é o cenário formal para fazer isso.

Principais aplicações

  • Aprendizado por reforço sobre bibliotecas de habilidades de manipulação
  • Futebol de robôs e outros jogos com espaços de ações híbridos
  • Tarefas de horizonte longo que combinam primitivas de navegação e de manipulação
  • Aprendizado dos argumentos de primitivas de movimento para planejamento de tarefas
  • Decisões de direção autônoma com manobras discretas e alvos contínuos

Na prática

Uma equipe treina um braço robótico para abrir um armário e colocar um objeto dentro, usando um ambiente simulado. Em vez de produzir velocidades do efetuador final a 20 Hz, a política escolhe a cada passo uma de cinco primitivas: alcançar, pegar, empurrar, soltar ou uma ação atômica de baixo nível. Alcançar recebe um alvo 3D, pegar recebe uma posição-alvo e um ângulo de guinada, e empurrar recebe uma posição inicial, uma direção e uma distância. A rede da política produz uma distribuição categórica sobre os tipos de primitiva e, para cada tipo, uma gaussiana sobre seus parâmetros, e só os parâmetros do tipo escolhido afetam o gradiente. Cada primitiva executa um controlador roteirizado até terminar ou esgotar o tempo, depois do que a próxima decisão é tomada. O episódio precisa de apenas um punhado de decisões, então o aprendizado dá certo onde uma política de baixo nível não deu.

Equívocos comuns

  • Um PAMDP é o mesmo que aprendizado por reforço hierárquico — as primitivas de um PAMDP muitas vezes são controladores fixos; só a escolha da primitiva e seus parâmetros são aprendidos
  • Os parâmetros podem simplesmente ser discretizados — a discretização perde precisão e multiplica o número de ações, principalmente quando as primitivas têm vários parâmetros
  • Uma ação híbrida pode ser tratada como um único vetor contínuo grande — isso ignora que só os parâmetros da ação escolhida importam e pode tornar o aprendizado instável
  • Usar primitivas sempre torna uma tarefa mais fácil — um conjunto de primitivas mal projetado pode tornar a tarefa impossível de concluir, e é por isso que muitos sistemas mantêm ações de baixo nível disponíveis como alternativa de reserva

Quem deve saber

  • Pesquisadores de aprendizado robótico que trabalham com habilidades e primitivas
  • Engenheiros de aprendizado por reforço que projetam espaços de ações
  • Pesquisadores de planejamento de tarefas e movimentos
  • Desenvolvedores de IA para jogos e sistemas multiagente

Tecnologias relacionadas

  • Q-PAMDP
  • P-DQN
  • Arcabouço de opções (Options Framework)
  • Processo de decisão semi-Markov (Semi-Markov Decision Process)
  • robosuite

Termos relacionados

  • Markov Decision Process (MDP)
  • Motion Primitive
  • Reinforcement Learning
  • Task and Motion Planning
  • Dynamic Movement Primitive

Projetos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.