Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Meta-Reinforcement Learning

  • También llamado: meta-RL
  • Categoría: Learning & autonomy › RL & simulation
  • Etiquetas: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning

Aprendizaje por refuerzo que entrena con muchas tareas relacionadas para que el agente aprenda a adaptarse y pueda resolver una tarea nueva de la misma familia con solo un poco de experiencia.

Definición

Metaaprendizaje por refuerzo (meta-reinforcement learning, meta-RL) trata el propio aprendizaje como aquello que hay que aprender. En lugar de entrenar una política para una sola tarea, el agente se entrena sobre una distribución de tareas relacionadas, por ejemplo alcanzar distintos objetivos, empujar objetos de distintas masas o abrir distintas puertas. El objetivo es que, ante una tarea nueva extraída de la misma distribución, pueda adaptarse con una pequeña cantidad de experiencia nueva, a menudo unos pocos episodios, en lugar de aprender desde cero. El entrenamiento se divide en un bucle interno, que se adapta a una tarea, y un bucle externo, que mejora el procedimiento de adaptación a lo largo de las tareas.

Son habituales tres familias de métodos. Los métodos basados en gradientes, como el metaaprendizaje agnóstico al modelo (MAML, Finn, Abbeel y Levine, 2017), aprenden unos pesos iniciales de la red a partir de los cuales unos pocos pasos de gradiente en la tarea nueva dan una buena política. Los métodos recurrentes o basados en contexto, como RL² (Duan et al., 2016), introducen el historial de estados, acciones y recompensas en una red recurrente u otro modelo de secuencias cuyo estado oculto contiene lo que ha aprendido sobre la tarea actual, de modo que la adaptación ocurre sin actualizaciones de gradiente. Los métodos de inferencia latente de la tarea, como PEARL (Rakelly et al., 2019), aprenden un codificador que infiere una variable de tarea probabilística a partir de la experiencia y condicionan la política a ella, lo que también permite el entrenamiento off-policy.

El meta-RL está estrechamente relacionado con la toma de decisiones parcialmente observable: la tarea desconocida puede verse como una parte oculta del estado que el agente debe inferir actuando. Se diferencia del aprendizaje por refuerzo multitarea, que entrena una única política para realizar bien un conjunto conocido y fijo de tareas, normalmente con la identidad de la tarea dada, y no mide la adaptación a tareas no vistas. Benchmarks como Meta-World ponen a prueba ambos escenarios sobre el mismo conjunto de tareas de manipulación. Los resultados dependen mucho de lo amplia que sea la distribución de tareas de entrenamiento: el meta-RL tiende a adaptarse bien a variaciones de las tareas de entrenamiento y mal a tareas estructuralmente diferentes.

Por qué importa

Los robots se enfrentan constantemente a la variación: objetos, cargas útiles, terrenos y desgaste distintos. El meta-RL es uno de los principales enfoques para que los controladores aprendidos se adapten rápidamente a esos cambios en lugar de reentrenarse desde cero, y las mismas ideas subyacen a los módulos de adaptación en línea usados en la locomoción sim-to-real.

Aplicaciones clave

  • Adaptación rápida de habilidades de manipulación a nuevos objetivos y objetos
  • Adaptación de controladores de locomoción a cambios de carga útil, de terreno o a daños
  • Adaptación en línea de modelos de dinámica aprendidos en el control basado en modelos
  • Evaluación de la generalización con familias de tareas como Meta-World
  • Imitación y adaptación few-shot a partir de pequeñas cantidades de datos del robot

En la práctica

Un equipo de investigación quiere un brazo robótico que pueda aprender una nueva habilidad de manipulación a partir de un puñado de intentos. En simulación construyen una familia de tareas con posiciones de objetos y objetivos aleatorizados en varios tipos de tareas, y entrenan un agente de meta-RL basado en contexto que se condiciona a una variable de tarea latente inferida a partir de las transiciones recientes. En el momento de la prueba, con un objetivo reservado, el robot recoge unos pocos episodios exploratorios, el codificador actualiza su estimación de la tarea y la política mejora sin ninguna actualización de gradiente. El equipo informa del éxito por separado en variaciones reservadas de las tareas de entrenamiento y en tipos de tarea completamente nuevos, ya que el rendimiento en estos últimos suele ser mucho menor.

Ideas erróneas comunes

  • El meta-RL aprende una política que puede hacer cualquier cosa — se adapta a tareas de la distribución de entrenamiento y suele generalizar mal a tareas con una estructura diferente
  • El meta-RL y el RL multitarea son lo mismo — el RL multitarea optimiza el rendimiento en un conjunto conocido de tareas, mientras que el meta-RL optimiza la velocidad de adaptación a tareas nuevas
  • Adaptarse siempre significa ajustar los pesos — los métodos basados en contexto se adaptan únicamente actualizando un estado oculto o una variable latente, sin pasos de gradiente en el momento de la prueba

Quién debería saberlo

  • Investigadores en aprendizaje robótico que trabajan en generalización y adaptación
  • Profesionales del aprendizaje por refuerzo que diseñan distribuciones de tareas
  • Ingenieros que construyen controladores adaptativos de locomoción y manipulación
  • Estudiantes de posgrado en aprendizaje automático para robótica

Tecnologías relacionadas

  • Model-Agnostic Meta-Learning (MAML)
  • RL²
  • PEARL
  • Meta-World
  • Redes neuronales recurrentes (Recurrent Neural Networks)

Términos relacionados

  • Multi-Task Reinforcement Learning
  • Reinforcement Learning
  • Partially Observable Markov Decision Process (POMDP)
  • Lifelong Robot Learning
  • Domain Randomization
  • Teacher-Student Training

Proyectos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Vídeos

  • Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.