An Online Learning Approach to Model Predictive Control

作者: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

授權條款

• 開放取用
• 論文: CC0 1.0 Universal

以下內容皆依據作者依 CC0 1.0 Universal 發布的論文全文；圖表已標示作者。

一句話摘要

將 MPC 視為線上學習，得到 DMD-MPC：此演算法族包含 MPPI 與 CEM，把它們的步長公開為可調參數，並在 1:5 比例的 AutoRally 車上執行。

為何重要

此框架把 MPC 設計轉換成選擇一個損失、一個控制分布與一個散度，並讓步長成為明確的參數。在模擬 AutoRally 的參數掃描中，較小的步長讓控制器在樣本少得多的情況下仍保有大部分效能，作者指出這對無法抽取大量軌跡展開（rollout）的嵌入式系統很有意義。

問題

MPPI 與交叉熵方法等 MPC 演算法源自不同的假設與啟發式方法，因此沒有設計或調校它們的共同方法。它們的更新規則固定了一些設計選擇，例如步長為 1，而這些選擇不一定最佳；當運算資源限制可抽取的軌跡展開數量時，這點就很重要。

提出的方法

作者將 MPC 對應到線上學習：每個控制步是一個回合，決策是控制分布的參數，每回合的損失是目前狀態下的 MPC 目標。套用以 MPC 平移運算子作為預測模型的動態鏡像下降，得到 DMD-MPC，這是由三項選擇定義的演算法族：損失（期望成本、低成本機率或指數效用）、控制分布（例如高斯、類別、拉普拉斯分布）以及 Bregman 散度。MPPI 與 CEM 可作為步長為 1 的特例重新推得。

關鍵見解

• 以平移後的前一次解對 MPC 進行熱啟動，在動態鏡像下降中扮演預測模型的角色，而動態遺憾衡量的是規劃與 MPC 目標保持一致的程度。
• MPPI 由指數效用損失推導而來，CEM 由低成本機率損失推導而來，兩者的步長皆為 1；步長是自由參數，原始演算法則將其固定。
• 對指數族控制分布而言，更新是前一個期望參數與效用加權充分統計量的凸組合。
• 以效用為基礎的損失對高成本的軌跡展開給予接近零的權重；若使用單純的期望成本損失，衝出賽道的軌跡展開會主導梯度估計，車輛開得很慢或撞牆。
• 離散控制以類別分布與指數梯度更新處理，成本也可以是不連續的，例如指示函數。

主要結果

• 模擬中的台車倒單擺，使用有偏差的模型（模型中桿長 0.346 m，實際為 0.326 m）：在連續控制下，於大範圍的效用參數中，大於 1 的步長相較 MPPI 與 CEM 所用的步長 1 有顯著提升。
• 模擬 AutoRally：每次梯度超過 1920 個樣本後提升很小；在適當的步長下，192 個樣本的單圈時間與步長 1、3840 個樣本時只差幾秒。
• 使用期望成本損失的模擬 AutoRally：即使有 3840 個樣本，效能仍明顯較差；最好的情況下車輛以低於 4 m/s 的速度維持在賽道中央。
• 真實 AutoRally，1920 個樣本：目標速度 13 m/s 時，單圈時間為 9.71 ± 0.17 s（高斯，步長 1，即 MPPI）、9.76 ± 0.14 s（高斯，步長 0.9）與 10.03 ± 0.16 s（拉普拉斯，步長 0.9）；7 m/s 時為 10.49 ± 0.08、10.66 ± 0.09 與 10.91 ± 0.14 s。
• 真實 AutoRally，目標速度 12 m/s，第二組實驗：1920 個樣本時，步長 0.8 為 10.70 ± 0.19 s，步長 1 為 10.90 ± 0.16 s；192 個樣本時，步長 0.8 與 0.6 皆為 10.97 s，步長 1 為 11.10 ± 0.17 s。

限制

• 動態遺憾小並不代表絕對控制效能好；它只表示規劃與所選的 MPC 目標一致。
• 兩組真實世界實驗在不同條件下進行（第二組在一條限制最高速度的不良賽道上），彼此無法比較；因時間不足，未測試 1920 個樣本、步長 0.6 的情況。
• 在樣本少且步長大時（64 個樣本，步長 1），模擬車輛開得緩慢且不穩定，有時會停下來。
• 在真實車輛上，新變體的表現與 MPPI 相當，而非更好：第一組實驗中，MPPI（高斯，步長 1）在兩個目標速度下的單圈時間都最短。
• AutoRally 的動力學模型是以人類駕駛資料擬合的確定性神經網路，且真實世界的執行只最佳化了控制分布的平均值。

對領域的影響

榮獲 RSS 2019 最佳學生論文獎（Best Student Paper Award），並入圍 RSS 2019 最佳系統論文獎（Best Systems Paper Award）決選；被引用 86 次。論文未提供程式碼或資料連結。

摘要

模型預測控制（MPC）是解決動態控制任務的強大技術。本文顯示 MPC 與線上學習之間存在密切關聯，後者是最佳化文獻中用於分析線上決策的抽象理論框架。這個新觀點為運用強大的線上學習演算法來設計 MPC 演算法奠定了基礎。具體而言，我們提出一種以動態鏡像下降（DMD）為基礎的新演算法，DMD 是為非平穩設定而設計的線上學習演算法。我們的演算法 Dynamic Mirror Decent Model Predictive Control（DMD-MPC）代表一個通用的 MPC 演算法族，其中包含許多既有技術作為特例。DMD-MPC 也為 MPC 過去使用的啟發式方法提供新的觀點，並提出一種有原則的方式來設計新的 MPC 演算法。在本文的實驗部分，我們展示 DMD-MPC 的彈性，在簡單的模擬台車倒單擺，以及模擬與真實世界的激進駕駛任務上，呈現一組新的 MPC 演算法。

連結

• arXiv 1902.08967: https://arxiv.org/abs/1902.08967
• DOI 10.48550/arXiv.1902.08967: https://doi.org/10.48550/arXiv.1902.08967
• PDF: https://arxiv.org/pdf/1902.08967v1