Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Parameterized Action MDP

  • También llamado: PAMDP, parameterized action space MDP
  • Categoría: Learning & autonomy › RL & simulation
  • Etiquetas: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions

Un proceso de decisión de Markov cuyas acciones combinan una elección discreta, como qué habilidad usar, con parámetros continuos para esa elección, como dónde o cómo ejecutarla.

Definición

Un proceso de decisión de Markov con acciones parametrizadas (parameterized action Markov decision process, PAMDP) es un MDP cuyo espacio de acciones es un híbrido de elecciones discretas y continuas. Hay un conjunto finito de acciones discretas, y cada acción discreta a tiene su propio espacio de parámetros continuos X_a. En cada paso de decisión, el agente elige una acción discreta y un vector de parámetros para ella, de modo que la acción es un par (a, x) con x en X_a. Acciones discretas distintas pueden tener parámetros de dimensión y significado diferentes. Masson, Ranchod y Konidaris formalizaron este marco en 2016 y propusieron Q-PAMDP, que alterna entre aprender qué acción discreta elegir y aprender las políticas de parámetros de cada acción.

La estructura resulta natural para robots construidos en torno a habilidades o primitivas. Un agente de manipulación podría elegir entre alcanzar, agarrar, empujar y colocar, cada una con argumentos continuos como una posición objetivo, una dirección de empuje o una orientación de agarre, y recurrir a acciones atómicas de bajo nivel cuando ninguna primitiva encaja. Un agente de fútbol elige entre chutar, esprintar y girar, cada una con parámetros de potencia o de dirección, que es el escenario de RoboCup que usaron Hausknecht y Stone en 2016 para el aprendizaje por refuerzo profundo con acciones parametrizadas. Como una primitiva puede ejecutarse durante muchos ciclos de control, el tiempo entre decisiones es variable, lo que conecta los PAMDP con los semi-MDP y con el marco de opciones, pero en un PAMDP las primitivas suelen ser controladores fijos diseñados a mano y no opciones aprendidas.

El aprendizaje en un PAMDP necesita métodos que respeten la estructura híbrida. Los enfoques habituales de RL profundo usan una red que produce un valor o una probabilidad para cada acción discreta junto con los parámetros de esa acción, como P-DQN de Xiong y sus colaboradores y sus variantes, o políticas que producen una distribución categórica sobre los tipos de primitiva y una gaussiana sobre los parámetros de cada tipo. Discretizar sin más los parámetros pierde precisión y hace crecer rápidamente el espacio de acciones, mientras que tratarlo todo como un único vector continuo grande descarta la información de que solo importan los parámetros de la acción elegida.

Por qué importa

El aprendizaje por refuerzo con órdenes de bajo nivel a las articulaciones o al efector final tiene dificultades con la manipulación de horizonte largo porque el problema de exploración es enorme. Permitir que la política invoque habilidades parametrizadas acorta el horizonte efectivo, reutiliza el conocimiento de ingeniería incorporado en las primitivas y produce un comportamiento más fácil de inspeccionar, y el PAMDP es el marco formal para hacerlo.

Aplicaciones clave

  • Aprendizaje por refuerzo sobre bibliotecas de habilidades de manipulación
  • Fútbol robótico y otros juegos con espacios de acciones híbridos
  • Tareas de horizonte largo que combinan primitivas de navegación y de manipulación
  • Aprendizaje de los argumentos de primitivas de movimiento para la planificación de tareas
  • Decisiones de conducción autónoma con maniobras discretas y objetivos continuos

En la práctica

Un equipo entrena un brazo robótico para abrir un armario y meter un objeto dentro, usando un entorno simulado. En lugar de producir velocidades del efector final a 20 Hz, la política elige en cada paso una de cinco primitivas: alcanzar, agarrar, empujar, soltar o una acción atómica de bajo nivel. Alcanzar recibe un objetivo 3D, agarrar recibe una posición objetivo y un ángulo de guiñada, y empujar recibe una posición inicial, una dirección y una distancia. La red de la política produce una distribución categórica sobre los tipos de primitiva y, para cada tipo, una gaussiana sobre sus parámetros, y solo los parámetros del tipo elegido afectan al gradiente. Cada primitiva ejecuta un controlador programado hasta que termina o se agota su tiempo, tras lo cual se toma la siguiente decisión. El episodio solo necesita un puñado de decisiones, de modo que el aprendizaje tiene éxito donde una política de bajo nivel no lo tuvo.

Ideas erróneas comunes

  • Un PAMDP es lo mismo que el aprendizaje por refuerzo jerárquico — en un PAMDP las primitivas suelen ser controladores fijos; solo se aprenden la elección de la primitiva y sus parámetros
  • Los parámetros pueden simplemente discretizarse — la discretización pierde precisión y multiplica el número de acciones, sobre todo cuando las primitivas tienen varios parámetros
  • Una acción híbrida puede tratarse como un único vector continuo grande — eso ignora que solo importan los parámetros de la acción elegida y puede volver inestable el aprendizaje
  • Usar primitivas siempre facilita una tarea — un conjunto de primitivas mal diseñado puede hacer imposible completar la tarea, y por eso muchos sistemas mantienen disponibles acciones de bajo nivel como recurso de respaldo

Quién debería saberlo

  • Investigadores de aprendizaje robótico que trabajan con habilidades y primitivas
  • Ingenieros de aprendizaje por refuerzo que diseñan espacios de acciones
  • Investigadores en planificación de tareas y movimientos
  • Desarrolladores de IA para juegos y sistemas multiagente

Tecnologías relacionadas

  • Q-PAMDP
  • P-DQN
  • Marco de opciones (Options Framework)
  • Proceso de decisión semi-Markov (Semi-Markov Decision Process)
  • robosuite

Términos relacionados

  • Markov Decision Process (MDP)
  • Motion Primitive
  • Reinforcement Learning
  • Task and Motion Planning
  • Dynamic Movement Primitive

Proyectos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.