Offline Reinforcement Learning

También llamado: batch reinforcement learning, batch RL, offline RL
Categoría: Learning & autonomy › RL & simulation
Etiquetas: reinforcement-learning, offline-learning, datasets, distribution-shift, robot-learning

Aprendizaje por refuerzo a partir de un conjunto fijo de transiciones recogido previamente, sin más interacción con el entorno durante el entrenamiento.

Definición

Aprendizaje por refuerzo offline (offline reinforcement learning) aprende una política íntegramente a partir de un conjunto de datos estático de estados, acciones, recompensas y estados siguientes, recogido de antemano por personas, controladores programados o políticas anteriores. A diferencia del RL online estándar, el agente no puede probar acciones nuevas y observar el resultado durante el entrenamiento. Este escenario resulta atractivo en robótica, donde la interacción con el mundo real es lenta, costosa y a veces insegura, y donde pueden existir ya grandes registros de datos de robots. A diferencia del aprendizaje por imitación, el RL offline usa las recompensas de los datos, de modo que en principio puede aprender una política mejor que el comportamiento que generó los datos, por ejemplo combinando las partes buenas de distintas trayectorias.

La dificultad central es el desplazamiento de distribución entre la política aprendida y los datos. Los métodos basados en valor estiman Q(s, a) por bootstrapping a partir del valor de la siguiente acción que elegiría la política aprendida. Si esa acción aparece raramente o nunca en el conjunto de datos, su estimación de valor no está restringida, y la maximización tiende a elegir precisamente las acciones cuyos valores son erróneamente altos. El RL online corrige esos errores probando las acciones; el RL offline no puede. Por eso los métodos offline se mantienen cerca de los datos de una de varias maneras: restringiendo la política hacia la política de comportamiento (como en BCQ, Fujimoto et al., 2019), penalizando los valores de las acciones no vistas (como en el Q-learning conservador, Kumar et al., 2020), evitando por completo consultar acciones fuera de la distribución (como en el Q-learning implícito, Kostrikov et al., 2021) o añadiendo un término de clonación del comportamiento a una función de pérdida actor-crítico off-policy.

Los resultados dependen mucho del conjunto de datos: su cobertura de estados y acciones, la calidad del comportamiento que lo produjo y si las recompensas están disponibles o deben etiquetarse después. Un flujo de trabajo habitual es el preentrenamiento offline seguido de una cantidad limitada de ajuste fino online. El RL offline está relacionado con el RL off-policy, pero es distinto: los algoritmos off-policy aprenden de datos generados por otras políticas, pero normalmente siguen recogiendo datos nuevos, y a menudo rinden mal cuando esa recogida se detiene.

Por qué importa

La mayoría de los robots no pueden permitirse millones de episodios de ensayo y error en hardware, pero muchos equipos tienen registros de teleoperación, ejecuciones programadas y experimentos anteriores. El RL offline es la familia de métodos diseñada para convertir esos datos en políticas de forma segura, y explica por qué ejecutar sin más un algoritmo off-policy estándar sobre un conjunto de datos fijo suele fallar.

Aplicaciones clave

Aprendizaje de políticas de manipulación a partir de datos registrados de teleoperación y de ejecuciones programadas
Preentrenamiento de políticas robóticas antes de un ajuste fino online limitado
Mejora sobre demostraciones subóptimas usando etiquetas de recompensa
Aprendizaje a partir de datos en escenarios donde la exploración es insegura, como la conducción
Reutilización de datos de experimentos anteriores en lugar de descartarlos

En la práctica

Un equipo de almacén tiene meses de intentos de recogida registrados de un sistema de agarre programado, cada uno etiquetado con éxito o fallo. En lugar de realizar nuevos ensayos, entrenan con los registros un agente de Q-learning conservador, con la imagen y el estado de la pinza como entrada. Antes de desplegarlo, comparan los agarres elegidos por la política aprendida con la distribución de los datos y la evalúan con un pequeño conjunto de objetos reservados en una celda de pruebas supervisada. Después permiten un breve periodo de ajuste fino online con una persona capaz de detener el robot, lo que corrige los errores restantes en situaciones poco vistas.

Ideas erróneas comunes

El RL offline es solo clonación del comportamiento sobre un conjunto de datos — usa recompensas y puede mejorar los datos, mientras que la clonación del comportamiento copia las acciones que contienen
Cualquier algoritmo off-policy funciona offline — sin datos nuevos, los métodos off-policy estándar sobrestiman el valor de las acciones no vistas y a menudo colapsan
Más datos siempre dan una mejor política offline — importan la cobertura y la calidad; un gran conjunto de datos de comportamiento casi idéntico ofrece poco margen de mejora
El RL offline no necesita evaluación en el sistema real — las estimaciones offline del rendimiento de la política no son fiables, por lo que siguen siendo necesarias pruebas reales o cuidadosamente simuladas

Quién debería saberlo

Investigadores en aprendizaje robótico que trabajan con grandes conjuntos de datos registrados
Ingenieros con flotas que producen datos operativos
Profesionales del aprendizaje por refuerzo que pasan de la simulación al hardware
Equipos de ML de conducción autónoma y de manipulación

Tecnologías relacionadas

Conservative Q-Learning (CQL)
Implicit Q-Learning (IQL)
Batch-Constrained Q-Learning (BCQ)
D4RL
Decision Transformer

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Vídeos

Offline Reinforcement Learning: RAIL
NeurIPS 2020 Tutorial on Offline RL: Part 1: RAIL