Do Differentiable Simulators Give Better Policy Gradients?

Autores: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Los gradientes exactos del simulador pueden estar sesgados o tener alta varianza con contacto, rigidez y caos; un estimador de orden α los combina con gradientes muestreados bajo una cota de precisión.

Por qué importa

El artículo presenta sus ejemplos mínimos (fricción, contacto rígido, colisiones con geometría de aristas vivas) como abstracciones de tareas con mucho contacto, como la manipulación robótica, y sostiene que tales tareas implican necesariamente estas características. Sus resultados sugieren que, para políticas entrenadas con un simulador diferenciable, los gradientes exactos pueden llevar la optimización a mínimos peores en estos casos, y que las decisiones de modelado del simulador, como la rigidez del contacto, afectan a la optimización de políticas; los autores lo ofrecen como posible explicación de por qué el RL de orden cero ha resuelto problemas de sistemas físicos en los que los métodos de primer orden tenían dificultades, pero solo lo prueban en sistemas simulados sencillos, no en robots.

Problema

Los simuladores diferenciables dan gradientes exactos de una ejecución (rollout), que pueden sustituir a las estimaciones de gradiente de orden cero (basadas en muestreo) en las que suele apoyarse el aprendizaje por refuerzo. No estaba claro qué estimador funciona mejor en los objetivos de horizonte largo y no suaves que surgen en el control de sistemas físicos con contacto.

Solución propuesta

Los autores analizan el gradiente por lotes de primer orden (FoBG, gradientes exactos promediados) y el gradiente por lotes de orden cero (ZoBG, al estilo de REINFORCE) sobre un objetivo de la política suavizado con ruido, desde el punto de vista del sesgo y la varianza. Después proponen el gradiente por lotes de orden α (AoBG), una mezcla ponderada de ambos que elige α para minimizar la varianza sujeta a una restricción que lo mantiene cerca de la estimación insesgada de orden cero, y que recurre a α = 0 cuando hay demasiado pocas muestras para garantizar la precisión.

Ideas clave

Ante discontinuidades como la fricción de Coulomb o una geometría de colisión con aristas vivas, el estimador de primer orden está sesgado, mientras que el de orden cero sigue siendo insesgado.
Las aproximaciones continuas rígidas de las discontinuidades causan un 'sesgo empírico': con muestras finitas la estimación de primer orden muestra una varianza empírica baja y, sin embargo, está lejos del gradiente verdadero, por lo que la varianza empírica por sí sola no puede detectar el problema.
Incluso sin sesgo, las estimaciones de primer orden pueden tener mayor varianza que las de orden cero con contacto rígido o dinámica caótica, porque la varianza de la estimación de orden cero escala con el horizonte por la dimensión del estado, pero no con el tamaño de las derivadas.
El sesgo y la varianza de los dos estimadores no solo los llevan a velocidades de convergencia distintas, sino a mínimos locales distintos.
Interpolar por mínima varianza empírica, como en trabajos anteriores, puede ser muy inexacto cerca de las discontinuidades; añadir una restricción de precisión lo corrige.

Resultados principales

Para una relajación lineal a trozos de la fricción de Coulomb con tolerancia de deslizamiento ν, la estimación de primer orden tiene un sesgo empírico de (c_σν, c_σ, 0) y su varianza escala con 1/ν cuando ν → 0 (con c_σ = 1/(√(2π)σ)); con ν = 0 pasa a estar sesgada en esperanza con varianza cero.
La varianza de la estimación de orden cero está acotada por B_V²B_π²·Hn/(Nσ²), y escala con el horizonte H y la dimensión del estado n, pero no con la magnitud de las derivadas (Lema 3.10).
Empuje de bloques con contacto por método de penalización, horizonte H = 200: el estimador de primer orden superó al de orden cero con muelles blandos (k = 10), el de orden cero ganó con muelles rígidos (k = 1000) y el estimador de orden α igualó al mejor de los dos en cada caso.
Tenis (pala al estilo de breakout) con una política de realimentación lineal de d = 21 parámetros y H = 200: los estimadores de orden cero y de orden α encontraron políticas que devolvían las pelotas desde distintas condiciones iniciales, el estimador de primer orden seguía fallando muchas pelotas y el de orden α convergió algo más rápido que el de orden cero.
En los ejemplos de la pelota con pared y de transferencia de momento, el estimador de primer orden se estancó en una región plana o fue empujado por el precipicio hacia una región de alto coste, mientras que los estimadores de orden cero y de orden α alcanzaron los mejores mínimos.
En el péndulo doble, la varianza del estimador de primer orden superó a la del de orden cero a medida que crecía el horizonte.

Limitaciones

No se estudiaron empíricamente los simuladores basados en integración temporal implícita basada en optimización (como MuJoCo, PyBullet y los esquemas cuasiestáticos); los autores esperan que las discontinuidades geométricas sigan siendo un problema en ellos y lo dejan para trabajo futuro.
Todas las demostraciones son ejemplos numéricos sencillos escritos en PyTorch (pelota, pared, barra con pivote, bloques empujados, caja que se desliza, péndulo doble, pala); no se usa ningún robot, modelo de robot ni benchmark de aprendizaje robótico.
El problema de varianza con contacto rígido solo se da hasta que la integración semiimplícita se vuelve inestable con un paso de tiempo fijo; reducir el paso de tiempo ayuda a costa del tiempo de cálculo.
La restricción de precisión necesita una cota superior previa de la función de valor y del jacobiano de la política, y usa trayectorias independientes para los dos estimadores; cuando las muestras son demasiado pocas para cumplir la cota, el método recurre a la estimación de orden cero.
El análisis supone ruido gaussiano inyectado en las acciones, que se trata como un suavizado del objetivo.

Impacto en el campo

Ganador del ICML 2022 Outstanding Paper Award, y citado 166 veces. El artículo no indica que publique código ni datos.

Resumen

Los simuladores diferenciables prometen un menor tiempo de cálculo para el aprendizaje por refuerzo al sustituir las estimaciones de gradiente de orden cero de un objetivo estocástico por una estimación basada en gradientes de primer orden. Sin embargo, aún no está claro qué factores deciden el rendimiento de los dos estimadores en paisajes complejos que implican planificación y control de horizonte largo en sistemas físicos, pese a la relevancia crucial de esta cuestión para la utilidad de los simuladores diferenciables. Mostramos que características de ciertos sistemas físicos, como la rigidez o las discontinuidades, pueden comprometer la eficacia del estimador de primer orden, y analizamos este fenómeno desde la óptica del sesgo y la varianza. Además, proponemos un estimador de gradiente de orden α, con α ∈ [0, 1], que utiliza correctamente los gradientes exactos para combinar la eficiencia de las estimaciones de primer orden con la robustez de los métodos de orden cero. Demostramos los inconvenientes de los estimadores tradicionales y las ventajas del estimador de orden α en algunos ejemplos numéricos.

Enlaces

arXiv 2202.00817: https://arxiv.org/abs/2202.00817
DOI 10.48550/arXiv.2202.00817: https://doi.org/10.48550/arXiv.2202.00817
PDF: https://arxiv.org/pdf/2202.00817v1