An Online Learning Approach to Model Predictive Control

Auteurs: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

Licences

• Accès libre
• Article: CC0 1.0 Universal

Tout ce qui suit s'appuie sur l'article complet, que ses auteurs ont placé sous CC0 1.0 Universal ; sa figure est montrée en citant les auteurs.

En bref

Voir la MPC comme de l'apprentissage en ligne donne DMD-MPC, une famille qui contient MPPI et CEM, fait de leur pas un paramètre de réglage et tourne sur une voiture AutoRally à l'échelle 1:5.

Pourquoi c'est important

Le cadre transforme la conception de la MPC en choix d'une perte, d'une distribution de commande et d'une divergence, et fait du pas un paramètre explicite. Dans les balayages AutoRally simulés, un pas plus petit a permis au contrôleur de conserver l'essentiel de ses performances avec beaucoup moins d'échantillons, ce que les auteurs mettent en avant pour les systèmes embarqués qui ne peuvent pas tirer beaucoup de rollouts.

Problème

Les algorithmes de MPC tels que MPPI et la méthode d'entropie croisée ont été dérivés d'hypothèses et d'heuristiques différentes, si bien qu'il n'existe pas de recette commune pour les concevoir ou les régler. Leurs règles de mise à jour figent des choix de conception, comme un pas de 1, qui ne sont pas nécessairement optimaux, ce qui importe lorsque le calcul limite le nombre de rollouts pouvant être échantillonnés.

Solution proposée

Les auteurs projettent la MPC sur l'apprentissage en ligne : chaque pas de commande est un tour, la décision est le paramètre d'une distribution de commande, et la perte de chaque tour est l'objectif de la MPC à l'état courant. Appliquer la descente miroir dynamique, avec l'opérateur de décalage de la MPC comme modèle prédictif, donne DMD-MPC, une famille définie par trois choix : la perte (coût espéré, probabilité de faible coût ou utilité exponentielle), la distribution de commande (par ex. gaussienne, catégorielle, de Laplace) et la divergence de Bregman. MPPI et CEM sont retrouvés comme cas particuliers avec un pas de 1.

Idées clés

• Initialiser la MPC à chaud à partir de la solution précédente décalée joue le rôle du modèle prédictif dans la descente miroir dynamique, et le regret dynamique mesure à quel point le plan reste cohérent avec l'objectif de la MPC.
• MPPI découle de la perte d'utilité exponentielle et CEM de la perte de probabilité de faible coût, toutes deux avec un pas de 1 ; le pas est un paramètre libre que les algorithmes d'origine fixent.
• Pour des distributions de commande de la famille exponentielle, la mise à jour est une combinaison convexe du paramètre d'espérance précédent et des statistiques exhaustives pondérées par l'utilité.
• Les pertes fondées sur l'utilité donnent un poids quasi nul aux rollouts coûteux ; avec la simple perte de coût espéré, les rollouts qui sortent de la piste dominent l'estimation du gradient et la voiture roulait lentement ou heurtait les murs.
• Les commandes discrètes sont traitées avec une distribution catégorielle et une mise à jour par gradient exponentié, et le coût peut être discontinu, comme une fonction indicatrice.

Principaux résultats

• Cartpole en simulation, avec un modèle biaisé (perche de 0,346 m dans le modèle contre 0,326 m en réalité) : avec des commandes continues, des pas supérieurs à 1 ont apporté des gains significatifs par rapport au pas de 1 utilisé dans MPPI et CEM sur une large plage de paramètres d'utilité.
• AutoRally simulé : les gains étaient faibles au-delà de 1920 échantillons par gradient, et avec un pas approprié, 192 échantillons donnaient des temps au tour à quelques secondes près de ceux obtenus avec 3840 échantillons et un pas de 1.
• AutoRally simulé avec la perte de coût espéré : les performances étaient nettement pires même avec 3840 échantillons ; au mieux, la voiture restait au centre de la piste à moins de 4 m/s.
• AutoRally réel, 1920 échantillons : temps au tour de 9,71 ± 0,17 s (gaussienne, pas 1, c'est-à-dire MPPI), 9,76 ± 0,14 s (gaussienne, pas 0,9) et 10,03 ± 0,16 s (Laplace, pas 0,9) pour une cible de 13 m/s ; 10,49 ± 0,08, 10,66 ± 0,09 et 10,91 ± 0,14 s à 7 m/s.
• AutoRally réel, cible de 12 m/s, seconde série : avec 1920 échantillons, le pas 0,8 donnait 10,70 ± 0,19 s contre 10,90 ± 0,16 s au pas 1 ; avec 192 échantillons, les pas 0,8 et 0,6 donnaient tous deux 10,97 s contre 11,10 ± 0,17 s au pas 1.

Limites

• Un faible regret dynamique n'implique pas de bonnes performances de commande absolues ; il signifie seulement que le plan est cohérent avec l'objectif de MPC choisi.
• Les deux séries d'expériences réelles se sont déroulées dans des conditions différentes (la seconde sur une piste en mauvais état qui limitait la vitesse maximale) et ne peuvent pas être comparées entre elles ; 1920 échantillons avec un pas de 0,6 n'ont pas été testés faute de temps.
• Avec peu d'échantillons et un grand pas (64 échantillons, pas 1), la voiture simulée roulait lentement et de façon erratique, s'arrêtant parfois.
• Sur la voiture réelle, les nouvelles variantes ont obtenu des performances comparables à MPPI plutôt que meilleures : dans la première série, MPPI (gaussienne, pas 1) avait le temps au tour le plus bas pour les deux vitesses cibles.
• Le modèle dynamique d'AutoRally est un réseau de neurones déterministe ajusté sur des données de conduite humaine, et seule la moyenne de la distribution de commande a été optimisée lors des essais réels.

Impact sur le domaine

A remporté le RSS 2019 Best Student Paper Award et a été finaliste du RSS 2019 Best Systems Paper Award ; il compte 86 citations. L'article ne renvoie ni à du code ni à des données.

Résumé

La commande prédictive (MPC) est une technique puissante pour résoudre des tâches de commande dynamique. Dans cet article, nous montrons qu'il existe un lien étroit entre la MPC et l'apprentissage en ligne, un cadre théorique abstrait pour analyser la prise de décision en ligne dans la littérature sur l'optimisation. Cette nouvelle perspective fournit une base pour exploiter de puissants algorithmes d'apprentissage en ligne afin de concevoir des algorithmes de MPC. Plus précisément, nous proposons un nouvel algorithme fondé sur la descente miroir dynamique (DMD), un algorithme d'apprentissage en ligne conçu pour des contextes non stationnaires. Notre algorithme, Dynamic Mirror Decent Model Predictive Control (DMD-MPC), représente une famille générale d'algorithmes de MPC qui inclut de nombreuses techniques existantes comme cas particuliers. DMD-MPC offre aussi un regard neuf sur les heuristiques utilisées jusqu'ici en MPC et suggère une manière fondée sur des principes de concevoir de nouveaux algorithmes de MPC. Dans la partie expérimentale de cet article, nous démontrons la flexibilité de DMD-MPC en présentant un ensemble de nouveaux algorithmes de MPC sur un simple pendule inversé sur chariot (cartpole) simulé et sur une tâche de conduite agressive simulée et réelle.

Liens

• arXiv 1902.08967: https://arxiv.org/abs/1902.08967
• DOI 10.48550/arXiv.1902.08967: https://doi.org/10.48550/arXiv.1902.08967
• PDF: https://arxiv.org/pdf/1902.08967v1