An Online Learning Approach to Model Predictive Control

作者: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

许可协议

• 开放获取
• 论文: CC0 1.0 Universal

以下内容均依据作者按 CC0 1.0 Universal 发布的论文全文；其中的图已注明作者。

一句话总结

把 MPC 看作在线学习，得到 DMD-MPC：这一算法族包含 MPPI 和 CEM，把它们的步长作为可调参数暴露出来，并在 1:5 比例的 AutoRally 车上运行。

为何重要

该框架将 MPC 设计转化为选择一个损失、一个控制分布和一个散度，并使步长成为显式参数。在仿真 AutoRally 的参数扫描中，较小的步长使控制器在样本少得多的情况下仍保持了大部分性能，作者认为这对无法采样大量轨迹展开（rollout）的嵌入式系统有意义。

问题

MPPI 和交叉熵方法等 MPC 算法源自不同的假设和启发式方法，因此没有设计或调节它们的通用方法。它们的更新规则固定了一些设计选择，例如步长为 1，而这些选择未必最优；当计算资源限制了可采样的轨迹展开数量时，这一点尤为重要。

提出的方法

作者将 MPC 映射到在线学习：每个控制步是一个回合，决策是控制分布的参数，每回合的损失是当前状态下的 MPC 目标。应用以 MPC 平移算子为预测模型的动态镜像下降，得到 DMD-MPC，这是由三个选择定义的算法族：损失（期望代价、低代价概率或指数效用）、控制分布（例如高斯分布、类别分布、拉普拉斯分布）以及 Bregman 散度。MPPI 和 CEM 作为步长为 1 的特例被重新导出。

关键见解

• 用平移后的上一时刻解热启动 MPC，在动态镜像下降中扮演预测模型的角色，而动态遗憾衡量的是规划与 MPC 目标保持一致的程度。
• MPPI 由指数效用损失导出，CEM 由低代价概率损失导出，两者步长均为 1；步长是一个自由参数，而原始算法将其固定。
• 对于指数族控制分布，更新是上一期望参数与效用加权充分统计量的凸组合。
• 基于效用的损失对高代价的轨迹展开赋予接近零的权重；若使用普通的期望代价损失，驶出赛道的轨迹展开会主导梯度估计，车辆开得很慢或撞墙。
• 离散控制通过类别分布和指数梯度更新来处理，代价可以是不连续的，例如指示函数。

主要结果

• 仿真中的小车倒立摆，使用有偏模型（模型中杆长 0.346 m，真实为 0.326 m）：在连续控制下，在很大范围的效用参数上，大于 1 的步长相比 MPPI 和 CEM 所用的步长 1 带来了显著提升。
• 仿真 AutoRally：每次梯度超过 1920 个样本后提升很小；在合适的步长下，192 个样本得到的单圈时间与步长 1、3840 个样本时仅相差几秒。
• 使用期望代价损失的仿真 AutoRally：即使有 3840 个样本，性能也明显更差；最好的情况下车辆以低于 4 m/s 的速度保持在赛道中心。
• 真实 AutoRally，1920 个样本：在 13 m/s 目标速度下，单圈时间为 9.71 ± 0.17 s（高斯，步长 1，即 MPPI）、9.76 ± 0.14 s（高斯，步长 0.9）和 10.03 ± 0.16 s（拉普拉斯，步长 0.9）；在 7 m/s 下为 10.49 ± 0.08、10.66 ± 0.09 和 10.91 ± 0.14 s。
• 真实 AutoRally，12 m/s 目标速度，第二组实验：1920 个样本时，步长 0.8 为 10.70 ± 0.19 s，步长 1 为 10.90 ± 0.16 s；192 个样本时，步长 0.8 和 0.6 均为 10.97 s，步长 1 为 11.10 ± 0.17 s。

局限

• 小的动态遗憾并不意味着良好的绝对控制性能；它仅表示规划与所选的 MPC 目标一致。
• 两组真实世界实验在不同条件下进行（第二组在一条限制了最高速度的较差赛道上），彼此不能比较；由于时间不足，未测试 1920 个样本、步长 0.6 的情况。
• 在样本少且步长大的情况下（64 个样本，步长 1），仿真车辆开得缓慢且不稳定，有时会停下。
• 在真实车辆上，新变体的表现与 MPPI 相当而非更好：在第一组实验中，MPPI（高斯，步长 1）在两个目标速度下的单圈时间都最短。
• AutoRally 的动力学模型是一个用人类驾驶数据拟合的确定性神经网络，并且在真实世界运行中只优化了控制分布的均值。

对领域的影响

获得 RSS 2019 最佳学生论文奖（Best Student Paper Award），并入围 RSS 2019 最佳系统论文奖（Best Systems Paper Award）决选；被引用 86 次。论文未提供代码或数据链接。

摘要

模型预测控制（MPC）是一种求解动态控制任务的强大技术。本文表明，MPC 与在线学习之间存在密切联系，后者是优化文献中用于分析在线决策的一种抽象理论框架。这一新视角为利用强大的在线学习算法来设计 MPC 算法奠定了基础。具体而言，我们提出了一种基于动态镜像下降（DMD）的新算法，DMD 是一种为非平稳设置而设计的在线学习算法。我们的算法 Dynamic Mirror Decent Model Predictive Control（DMD-MPC）代表了一个通用的 MPC 算法族，其中包含许多现有技术作为特例。DMD-MPC 还为 MPC 中以往使用的启发式方法提供了新的视角，并提出了一种有原则的方式来设计新的 MPC 算法。在本文的实验部分，我们展示了 DMD-MPC 的灵活性，在一个简单的仿真小车倒立摆以及一个仿真和真实世界的激进驾驶任务上给出了一组新的 MPC 算法。

链接

• arXiv 1902.08967: https://arxiv.org/abs/1902.08967
• DOI 10.48550/arXiv.1902.08967: https://doi.org/10.48550/arXiv.1902.08967
• PDF: https://arxiv.org/pdf/1902.08967v1