Residual Reinforcement Learning

También llamado: residual RL, residual policy learning
Categoría: Learning & autonomy › RL & simulation
Etiquetas: reinforcement-learning, robot-learning, manipulation, contact-rich-tasks, sim-to-real

Aprendizaje por refuerzo de una corrección que se suma a las acciones de un controlador existente o de una política aprendida, para que el aprendizaje parta de un comportamiento razonable en lugar de desde cero.

Definición

Aprendizaje por refuerzo residual (residual reinforcement learning) divide la acción de un robot en dos partes: la salida de una política base y un residuo aprendido. La política base puede ser un controlador diseñado a mano, un seguidor de trayectorias o una política entrenada por aprendizaje por imitación. La política residual observa el estado, a menudo junto con la acción base, y produce una corrección que se suma a la acción base. Solo el residuo se entrena con aprendizaje por refuerzo; la política base permanece fija. El enfoque lo introdujeron de forma independiente dos grupos en 2018 y 2019, con los nombres de residual policy learning y residual reinforcement learning for robot control.

Partir de una política base que funciona cambia el problema de aprendizaje de formas útiles. Al principio del entrenamiento, cuando el residuo es casi cero, el robot ya se comporta de forma sensata, así que la exploración es más segura y las recompensas son más fáciles de alcanzar, lo que importa en tareas con recompensas dispersas y para entrenar en hardware real. El residuo solo tiene que aprender lo que la política base hace mal, como efectos de contacto, fricción o variaciones de los objetos que un controlador no modela. Inicializar la red residual para que produzca cero y acotar su magnitud son formas habituales de mantener el comportamiento inicial cerca de la política base.

La política base también limita lo que puede aprenderse. Si está lejos de un buen comportamiento, un residuo acotado puede no ser capaz de corregirla, y uno no acotado renuncia a la ventaja de seguridad. Algunas variantes dejan que el residuo ajuste parámetros del controlador como ganancias o puntos de consigna en lugar de acciones en bruto, o combinan residuos con políticas aprendidas a partir de un pequeño número de demostraciones, de modo que la imitación proporciona el comportamiento base y el aprendizaje por refuerzo lo refina en precisión o robustez.

Por qué importa

El aprendizaje por refuerzo puro en robots reales es lento y puede ser inseguro, mientras que los controladores diseñados a mano y las políticas de imitación a menudo son casi correctos pero fallan en los detalles del contacto. El RL residual combina ambos, lo que lo convierte en una forma práctica de mejorar controladores existentes con una cantidad limitada de interacción en el mundo real.

Aplicaciones clave

Ensamblaje rico en contactos, como la inserción de clavija en agujero (peg-in-hole)
Refinamiento de políticas aprendidas por imitación con aprendizaje por refuerzo
Corrección de controladores basados en modelo frente a fricción y dinámica no modeladas
Adaptación al hardware real de controladores entrenados en simulación
Mejora del agarre y de la manipulación en la mano a partir de una referencia programada

En la práctica

Un equipo usa un controlador de impedancia para insertar una clavija en un agujero de ajuste estrecho. El controlador llega al agujero de forma fiable, pero a menudo se atasca por pequeños errores de pose y por la fricción. El equipo añade una política residual que ve la pose del efector final y la lectura de fuerza-par de la muñeca y produce un pequeño desplazamiento de la posición objetivo del controlador, recortado a un rango estrecho. El residuo empieza en cero, así que los primeros episodios se comportan como el controlador original, y se entrena con un algoritmo off-policy como soft actor-critic usando una recompensa basada en la profundidad de inserción. A lo largo del entrenamiento aprende los pequeños movimientos correctivos que liberan una clavija atascada, mientras el controlador base sigue encargándose del movimiento grueso.

Ideas erróneas comunes

El RL residual vuelve a entrenar el controlador base — la política base permanece fija y solo se aprende la corrección aditiva
Sirve cualquier política base — el residuo suele estar acotado, así que una política base pobre limita lo que puede lograr el sistema combinado
El RL residual elimina la necesidad de diseñar recompensas — el residuo sigue necesitando una recompensa que capte la tarea; la política base solo hace la exploración más fácil y más segura

Quién debería saberlo

Investigadores en aprendizaje de robots
Ingenieros de manipulación que trabajan en tareas ricas en contactos
Ingenieros de control que mejoran controladores existentes con datos
Profesionales de sim-to-real

Tecnologías relacionadas

Soft Actor-Critic
Twin Delayed DDPG (TD3)
Control de impedancia (Impedance Control)
Clonación de comportamiento (Behavior Cloning)
Proximal Policy Optimization

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim