An Online Learning Approach to Model Predictive Control

Autores: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

Licencias

• Acceso abierto
• Artículo: CC0 1.0 Universal

Todo lo que sigue se basa en el artículo completo, que sus autores publicaron bajo CC0 1.0 Universal; su figura se muestra con crédito a los autores.

En resumen

Ver el MPC como aprendizaje en línea da DMD-MPC, una familia que contiene MPPI y CEM, expone su tamaño de paso como parámetro de ajuste y se ejecuta en un coche AutoRally a escala 1:5.

Por qué importa

El marco convierte el diseño de MPC en elegir una pérdida, una distribución de control y una divergencia, y hace del tamaño de paso un parámetro explícito. En los barridos simulados con AutoRally, un tamaño de paso menor permitió que el controlador conservara la mayor parte de su rendimiento con muchas menos muestras, algo que los autores señalan para sistemas embebidos que no pueden generar muchos rollouts.

Problema

Algoritmos de MPC como MPPI y el método de entropía cruzada se derivaron de supuestos y heurísticas diferentes, por lo que no existe una receta común para diseñarlos o ajustarlos. Sus reglas de actualización fijan decisiones de diseño, como un tamaño de paso de 1, que no son necesariamente óptimas, lo que importa cuando el cómputo limita cuántos rollouts pueden muestrearse.

Solución propuesta

Los autores trasladan el MPC al aprendizaje en línea: cada paso de control es una ronda, la decisión es el parámetro de una distribución de control y la pérdida por ronda es el objetivo del MPC en el estado actual. Aplicar el descenso de espejo dinámico, con el operador de desplazamiento del MPC como su modelo predictivo, da DMD-MPC, una familia definida por tres elecciones: la pérdida (coste esperado, probabilidad de bajo coste o utilidad exponencial), la distribución de control (p. ej., gaussiana, categórica, Laplace) y la divergencia de Bregman. MPPI y CEM se recuperan como casos particulares con tamaño de paso 1.

Ideas clave

• Arrancar en caliente el MPC desde la solución anterior desplazada desempeña el papel del modelo predictivo en el descenso de espejo dinámico, y el regret dinámico mide lo consistente que se mantiene el plan con el objetivo del MPC.
• MPPI se obtiene de la pérdida de utilidad exponencial y CEM de la pérdida de probabilidad de bajo coste, ambos con tamaño de paso 1; el tamaño de paso es un parámetro libre que los algoritmos originales fijan.
• Para distribuciones de control de la familia exponencial, la actualización es una combinación convexa del parámetro de expectativa anterior y de los estadísticos suficientes ponderados por la utilidad.
• Las pérdidas basadas en utilidad dan un peso casi nulo a los rollouts de alto coste; con la pérdida de coste esperado simple, los rollouts que se salen de la pista dominan la estimación del gradiente y el coche avanzaba despacio o chocaba con las paredes.
• Los controles discretos se tratan con una distribución categórica y una actualización de gradiente exponenciado, y el coste puede ser discontinuo, como una función indicadora.

Resultados principales

• Cartpole en simulación, con un modelo sesgado (poste de 0,346 m en el modelo frente a 0,326 m reales): con controles continuos, los tamaños de paso mayores que 1 dieron mejoras significativas sobre el tamaño de paso de 1 usado en MPPI y CEM en un amplio rango de parámetros de utilidad.
• AutoRally simulado: las mejoras fueron pequeñas por encima de 1920 muestras por gradiente, y con un tamaño de paso adecuado 192 muestras dieron tiempos por vuelta a un par de segundos de los de 3840 muestras con tamaño de paso 1.
• AutoRally simulado con la pérdida de coste esperado: el rendimiento fue drásticamente peor incluso con 3840 muestras; en el mejor caso el coche se mantuvo en el centro de la pista por debajo de 4 m/s.
• AutoRally real, 1920 muestras: tiempos por vuelta de 9,71 ± 0,17 s (gaussiana, paso 1, es decir, MPPI), 9,76 ± 0,14 s (gaussiana, paso 0,9) y 10,03 ± 0,16 s (Laplace, paso 0,9) con un objetivo de 13 m/s; 10,49 ± 0,08, 10,66 ± 0,09 y 10,91 ± 0,14 s a 7 m/s.
• AutoRally real, objetivo de 12 m/s, segunda serie: con 1920 muestras, el paso 0,8 dio 10,70 ± 0,19 s frente a 10,90 ± 0,16 s con paso 1; con 192 muestras, los pasos 0,8 y 0,6 dieron ambos 10,97 s frente a 11,10 ± 0,17 s con paso 1.

Limitaciones

• Un regret dinámico pequeño no implica un buen rendimiento de control absoluto; solo significa que el plan es consistente con el objetivo de MPC elegido.
• Las dos series de experimentos en el mundo real se realizaron en condiciones diferentes (la segunda en una pista en mal estado que limitaba la velocidad máxima) y no pueden compararse entre sí; 1920 muestras con tamaño de paso 0,6 no se probaron por falta de tiempo.
• Con pocas muestras y un tamaño de paso grande (64 muestras, paso 1), el coche simulado avanzaba despacio y de forma errática, y a veces se detenía.
• En el coche real, las nuevas variantes tuvieron un rendimiento comparable al de MPPI, no mejor: en la primera serie MPPI (gaussiana, paso 1) tuvo el menor tiempo por vuelta con ambos objetivos de velocidad.
• El modelo dinámico de AutoRally es una red neuronal determinista ajustada a datos de conducción humana, y en las ejecuciones en el mundo real solo se optimizó la media de la distribución de control.

Impacto en el campo

Ganó el RSS 2019 Best Student Paper Award y fue finalista del RSS 2019 Best Systems Paper Award; tiene 86 citas. El artículo no enlaza código ni datos.

Resumen

El control predictivo basado en modelo (MPC) es una técnica potente para resolver tareas de control dinámico. En este artículo mostramos que existe una estrecha conexión entre el MPC y el aprendizaje en línea, un marco teórico abstracto para analizar la toma de decisiones en línea en la literatura de optimización. Esta nueva perspectiva proporciona una base para aprovechar potentes algoritmos de aprendizaje en línea en el diseño de algoritmos de MPC. En concreto, proponemos un nuevo algoritmo basado en el descenso de espejo dinámico (DMD), un algoritmo de aprendizaje en línea diseñado para configuraciones no estacionarias. Nuestro algoritmo, Dynamic Mirror Decent Model Predictive Control (DMD-MPC), representa una familia general de algoritmos de MPC que incluye muchas técnicas existentes como casos particulares. DMD-MPC también ofrece una perspectiva nueva sobre heurísticas previas usadas en MPC y sugiere una forma fundamentada de diseñar nuevos algoritmos de MPC. En la sección experimental de este artículo demostramos la flexibilidad de DMD-MPC, presentando un conjunto de nuevos algoritmos de MPC en un cartpole simulado sencillo y en una tarea de conducción agresiva simulada y en el mundo real.

Enlaces

• arXiv 1902.08967: https://arxiv.org/abs/1902.08967
• DOI 10.48550/arXiv.1902.08967: https://doi.org/10.48550/arXiv.1902.08967
• PDF: https://arxiv.org/pdf/1902.08967v1