Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Multi-Task Reinforcement Learning

  • También llamado: multi-task RL, MTRL
  • Categoría: Learning & autonomy › RL & simulation
  • Etiquetas: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning

Aprendizaje por refuerzo que entrena una sola política, condicionada a un identificador o una descripción de la tarea, para rendir bien en un conjunto fijo de tareas a la vez.

Definición

Aprendizaje por refuerzo multitarea (multi-task reinforcement learning) entrena un único agente para resolver varias tareas en lugar de entrenar un agente distinto para cada una. La política suele estar condicionada a la tarea: recibe, junto con el estado, un identificador de tarea one-hot, un objetivo, una instrucción en lenguaje natural u otra descripción de la tarea, y el objetivo de optimización es el retorno esperado medio sobre el conjunto de tareas. La esperanza es que las tareas compartan estructura, como la forma de mover el brazo o de agarrar un asa, de modo que la experiencia de una tarea ayude a las demás y la política compartida necesite menos datos que las tareas por separado.

En la práctica, compartir también puede perjudicar. Las tareas pueden requerir comportamientos contradictorios, sus recompensas pueden diferir mucho en escala, y las actualizaciones de gradiente de una tarea pueden deshacer el progreso en otra, un problema conocido como transferencia negativa o interferencia de gradientes. Entre los remedios habituales están normalizar los retornos o usar cabezas de valor separadas por tarea, ajustar los gradientes para que las tareas no entren en conflicto, encaminar las tareas por módulos de red en parte separados, equilibrar la frecuencia con que se muestrea cada tarea y destilar políticas expertas entrenadas por separado en una única política estudiante. El aprendizaje condicionado por objetivo es un caso particular en el que las tareas solo difieren en el objetivo y comparten la misma estructura de recompensa.

El RL multitarea se diferencia del metaaprendizaje por refuerzo. El RL multitarea se evalúa en las tareas con las que se entrenó, normalmente con la identidad de la tarea conocida; el meta-RL se evalúa por la rapidez con que se adapta a tareas nuevas extraídas de la misma distribución. Benchmarks como Meta-World ofrecen ambos escenarios sobre las mismas tareas de manipulación, lo que hace concreta la diferencia. El entrenamiento multitarea es también un componente básico de políticas robóticas más grandes entrenadas en muchas tareas a partir de datos de demostración, aunque estas suelen entrenarse por imitación y no por aprendizaje por refuerzo.

Por qué importa

Los robots útiles necesitan muchas habilidades, y entrenar y mantener una política por habilidad no escala. El RL multitarea es la vía del aprendizaje por refuerzo hacia un único controlador que cubra muchos comportamientos, y entender dónde ayuda compartir y dónde causa interferencias es esencial al diseñar estos sistemas.

Aplicaciones clave

  • Políticas únicas para muchas habilidades de manipulación sobre mesa
  • Controladores robóticos condicionados por lenguaje o por objetivo
  • Destilación de varias políticas expertas en una única red desplegable
  • Políticas de locomoción compartidas entre marchas, velocidades o terrenos
  • Evaluación de la transferencia y la interferencia entre tareas

En la práctica

Un equipo quiere una sola política que pueda abrir cajones, pulsar botones y girar grifos con un brazo sobre una mesa. Entrenan en simulación un agente SAC condicionado a la tarea, con un vector de tarea one-hot añadido a la observación. Las primeras ejecuciones muestran que la política domina dos tareas e ignora las demás, porque sus recompensas son mayores y dominan las actualizaciones. El equipo añade una temperatura aprendida separada por tarea, muestrea las tareas de manera uniforme en cada lote y sigue el éxito por tarea en lugar de solo la media, lo que hace progresar las tareas más débiles sin frenar las más fuertes.

Ideas erróneas comunes

  • Entrenar con más tareas siempre ayuda a cada tarea — las tareas en conflicto pueden interferir, y una política multitarea puede rendir peor en algunas tareas que el entrenamiento de una sola tarea
  • El RL multitarea produce un agente que se adapta a tareas nuevas — se evalúa en sus tareas de entrenamiento; la adaptación rápida a tareas no vistas es el objetivo del meta-RL
  • El retorno medio entre tareas muestra lo bien que funciona la política — una media alta puede ocultar tareas que la política no ha aprendido, por lo que conviene informar del éxito por tarea

Quién debería saberlo

  • Investigadores en aprendizaje robótico que construyen políticas generalistas
  • Ingenieros de aprendizaje por refuerzo que entrenan con conjuntos de tareas
  • Ingenieros de manipulación que diseñan el condicionamiento por tarea
  • Estudiantes que comparan el aprendizaje multitarea, el metaaprendizaje y el aprendizaje permanente

Tecnologías relacionadas

  • Meta-World
  • Destilación de políticas (Policy Distillation)
  • Gradient Surgery (PCGrad)
  • Soft Actor-Critic
  • Embeddings de tareas (Task Embeddings)

Términos relacionados

  • Meta-Reinforcement Learning
  • Goal-Conditioned Policy
  • Reinforcement Learning
  • Soft Actor-Critic
  • Lifelong Robot Learning
  • Curriculum Learning

Proyectos relacionados

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.