Hindsight Experience Replay (HER)
- También llamado: HER
- Categoría: Learning & autonomy › RL & simulation
- Etiquetas: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation
Una técnica de aprendizaje por refuerzo condicionado por objetivo que reetiqueta los episodios fallidos con objetivos que el agente realmente alcanzó, convirtiendo los fracasos con recompensa dispersa en datos de entrenamiento útiles.
Definición
Hindsight Experience Replay (HER) aborda un problema habitual del aprendizaje robótico: con una recompensa dispersa que solo se da cuando se alcanza un objetivo, un robot que actúa al azar casi nunca tiene éxito, por lo que no recibe ninguna señal de aprendizaje. HER, presentado por Andrychowicz et al. en 2017, reutiliza cada episodio fallido fingiendo, a posteriori, que el objetivo había sido lo que el agente realmente consiguió. Un episodio que intentó empujar un bloque hasta el punto A pero lo dejó en el punto B se convierte en un ejemplo exitoso de empujar el bloque hasta el punto B.
El método funciona con políticas y funciones de valor condicionadas por objetivo, que reciben como entrada tanto el estado como el objetivo deseado, y con algoritmos off-policy como DDPG, TD3 o SAC, que aprenden de un búfer de repetición. Cada transición almacenada se copia con un objetivo sustituido y una recompensa recalculada para ese objetivo. Varias estrategias eligen el sustituto: el estado final del episodio, un estado aleatorio del mismo episodio o, lo más habitual, un estado alcanzado más tarde en el mismo episodio (la estrategia "future"). Como la recompensa debe recalcularse para cualquier objetivo, HER requiere una función de recompensa que pueda evaluarse para objetivos arbitrarios, normalmente si el objetivo alcanzado está dentro de una tolerancia respecto al deseado.
HER actúa como un currículo implícito: al principio, los objetivos reetiquetados son fáciles y están cerca de donde el robot ya termina, y a medida que la política mejora, los objetivos que alcanza se extienden hasta cubrir el espacio. No ayuda cuando el objetivo no puede leerse a partir del estado alcanzado, cuando las recompensas dependen de algo más que el resultado final, ni con algoritmos on-policy que no pueden reutilizar datos antiguos. El reetiquetado también sesga la distribución de objetivos en el búfer, algo que trabajos posteriores han examinado y corregido de diversas formas.
Por qué importa
Las recompensas dispersas de éxito son la forma más natural de especificar muchas tareas de manipulación, pero es muy difícil aprender directamente de ellas. HER hizo práctico entrenar políticas de empuje, deslizamiento y pick-and-place a partir de recompensas binarias sin términos de recompensa diseñados a mano, y desde entonces el reetiquetado de objetivos se ha convertido en una herramienta estándar del aprendizaje condicionado por objetivo.
Aplicaciones clave
- Empuje, deslizamiento y pick-and-place con recompensa dispersa con brazos robóticos
- Entrenamiento de políticas condicionadas por objetivo que alcanzan posiciones objetivo arbitrarias
- Aprendizaje de la navegación hasta ubicaciones objetivo a partir de recompensas solo de éxito
- Reetiquetado de demostraciones o datos de juego con los objetivos que realmente alcanzaron
- Benchmarks multiobjetivo para el aprendizaje por refuerzo off-policy
En la práctica
Un ingeniero entrena un brazo simulado para colocar un bloque en posiciones objetivo elegidas al azar, con una recompensa de 0 en caso de éxito y de -1 en caso contrario. Sin HER, SAC apenas mejora, porque el bloque rara vez cae sobre el objetivo por casualidad. Con HER, cada transición se almacena también con objetivos tomados de las posiciones del bloque alcanzadas más tarde en ese episodio, y la recompensa se recalcula como éxito si el bloque está a unos pocos centímetros del objetivo sustituido. El ingeniero comprueba que la observación separa claramente el objetivo alcanzado (la posición del bloque) del objetivo deseado, para que el código de reetiquetado pueda intercambiar uno por otro.
Ideas erróneas comunes
- HER funciona con cualquier algoritmo de aprendizaje por refuerzo — depende de reutilizar transiciones almacenadas, por lo que encaja con métodos off-policy como DDPG, TD3 y SAC, no con métodos on-policy como PPO
- HER elimina la necesidad de diseñar recompensas — sigue necesitando una recompensa que pueda calcularse para cualquier objetivo y una definición clara de qué parte del estado cuenta como objetivo alcanzado
- Los datos reetiquetados no tienen sesgo — sustituir los objetivos por los alcanzados cambia la distribución de objetivos y resultados en el búfer, lo que puede sesgar las estimaciones de valor
Quién debería saberlo
- Profesionales del aprendizaje por refuerzo que trabajan en manipulación
- Investigadores en aprendizaje robótico que usan recompensas dispersas o binarias
- Ingenieros que construyen políticas condicionadas por objetivo
- Estudiantes que implementan algoritmos de aprendizaje off-policy
Tecnologías relacionadas
- Deep Deterministic Policy Gradient (DDPG)
- Twin Delayed DDPG (TD3)
- Búfer de repetición (Replay Buffer)
- Universal Value Function Approximators
- Gymnasium-Robotics
Términos relacionados
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Markov Decision Process (MDP)
- Curriculum Learning
- Play Data
Proyectos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
Vídeos
- Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers