Reward Shaping
- Categoría: Learning & autonomy › RL & simulation
- Etiquetas: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation
Añadir términos adicionales a la recompensa de aprendizaje por refuerzo para que el agente reciba retroalimentación útil antes de alcanzar el objetivo por primera vez, idealmente sin cambiar qué comportamiento es óptimo.
Definición
Conformación de recompensas (reward shaping) es la modificación de la función de recompensa de un problema de aprendizaje por refuerzo para facilitar el aprendizaje. Muchas tareas robóticas tienen una recompensa natural que es dispersa: el agente recibe una señal solo cuando el cajón está abierto o la clavija está insertada. Con exploración aleatoria, un robot puede no llegar casi nunca a ese estado y, por tanto, recibe casi ninguna señal de aprendizaje. La conformación añade términos intermedios, como la distancia negativa de la pinza al tirador, una bonificación por un agarre estable o el avance a lo largo de una secuencia de subobjetivos, para que el agente reciba retroalimentación mucho antes de tener éxito por primera vez.
El riesgo es que la recompensa conformada cambie la tarea. Un robot recompensado por la proximidad de la pinza puede aprender a quedarse cerca del tirador sin tirar de él, y una recompensa por la velocidad de avance puede producir marchas que aprovechan fallos del simulador. Ng, Harada y Russell (1999) demostraron que los términos de conformación de una forma específica, F(s, s′) = γΦ(s′) − Φ(s) para una función potencial Φ definida sobre los estados, dejan sin cambios las políticas óptimas del problema original. Esto se denomina conformación de recompensas basada en potencial. Como cualquier recompensa obtenida al recorrer un ciclo de estados suma cero con esos términos, el agente no puede sacar provecho de bucles que no hacen avanzar la tarea. Los términos que no tienen esa forma pueden cambiar la política óptima. A veces eso es intencionado, cuando los términos adicionales expresan preferencias reales como un movimiento suave o un bajo consumo de energía, pero debe ser una elección deliberada.
En la práctica robótica, las recompensas para locomoción y manipulación combinan a menudo muchos términos ponderados, y ajustar sus pesos ocupa una gran parte del esfuerzo de ingeniería. Entre los complementos y alternativas están el aprendizaje por currículo, el reetiquetado retrospectivo de objetivos, el aprendizaje a partir de demostraciones, el aprendizaje por refuerzo inverso y las recompensas calculadas a partir de representaciones visuales aprendidas, por ejemplo una estimación del avance hacia una imagen de subobjetivo. Estos reducen el diseño manual de recompensas, pero traen sus propios modos de fallo.
Por qué importa
Que una tarea de aprendizaje robótico llegue a converger depende a menudo de su recompensa. La conformación de recompensas es la forma en que se hacen entrenables la mayoría de las políticas de locomoción y manipulación simuladas, y las recompensas mal conformadas son una causa habitual de políticas que puntúan bien durante el entrenamiento pero no realizan la tarea prevista.
Aplicaciones clave
- Entrenamiento de políticas de manipulación cuando el éxito en la tarea es disperso
- Recompensas de locomoción con patas que combinan términos de seguimiento de velocidad, postura y energía
- Tareas de horizonte largo divididas en subobjetivos con recompensas de avance
- Navegación con términos de distancia al objetivo
- Manipulación diestra en la mano entrenada en simulación
En la práctica
Un equipo entrena en simulación una política para abrir el cajón de un armario. Con una recompensa que solo se da cuando el cajón está abierto, el entrenamiento no avanza. Añaden un término por la distancia negativa de la pinza al tirador, una bonificación cada vez que se agarra el tirador y un término proporcional a cuánto se ha abierto el cajón. La política aprende pronto a alcanzar y agarrar, pero luego se estanca, porque soltar y volver a agarrar el tirador cobra la bonificación de agarre una y otra vez. Sustituyen la bonificación por un término basado en potencial, el cambio de un paso al siguiente en un potencial que aumenta a medida que se abre el cajón y la pinza se acerca al tirador, de modo que alternar entre estados no gana nada en total, y añaden una pequeña penalización sobre la velocidad articular para un movimiento más suave. Juzgan la política final según el criterio de éxito disperso, no según el retorno conformado.
Ideas erróneas comunes
- Cualquier término de recompensa añadido es inofensivo si apunta hacia el objetivo — los términos que no están basados en potencial pueden cambiar la política óptima e invitar al reward hacking
- Un retorno conformado más alto significa una política mejor — solo el rendimiento en el objetivo real de la tarea muestra si la política hace lo que se pretendía
- La conformación basada en potencial siempre acelera el aprendizaje — conserva las políticas óptimas, pero un potencial mal elegido aún puede ralentizar la exploración
- La conformación de recompensas y el aprendizaje por currículo son lo mismo — la conformación cambia la recompensa, mientras que un currículo cambia el orden o la dificultad de las tareas y los entornos
Quién debería saberlo
- Ingenieros de aprendizaje por refuerzo que entrenan políticas de robots
- Investigadores en locomoción y manipulación que trabajan en simulación
- Ingenieros de simulación que configuran entornos de entrenamiento
- Estudiantes que aprenden aprendizaje por refuerzo para robótica
Tecnologías relacionadas
- Conformación de recompensas basada en potencial (Potential-Based Reward Shaping)
- Recompensas dispersas (Sparse Rewards)
- Hindsight Experience Replay
- Aprendizaje por currículo (Curriculum Learning)
- Aprendizaje por refuerzo inverso (Inverse Reinforcement Learning)
- Modelos de recompensa aprendidos (Learned Reward Models)
Términos relacionados
- Reinforcement Learning
- Markov Decision Process (MDP)
- Curriculum Learning
- Hindsight Experience Replay (HER)
- Inverse Reinforcement Learning
Proyectos relacionados
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Vídeos
- Reward Shaping: Udacity