Parameterized Differential Dynamic Programming

作者: Alex Oshin, Matthew D. Houghton, Michael J. Acheson, Irene M. Gregory, Evangelos A. Theodorou · RSS 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

PDDP 在 DDP 中加入时不变参数，使控制量和参数得到联合的二阶更新，用于 MPC 中的在线模型辨识以及确定飞行模式切换的时机。

为何重要

单个二阶求解器既能在控制系统的同时在线辨识模型参数，又能选择混合系统在每个模式中停留多长时间。论文报告称，据作者所知，这是首次使用切换时间优化来规划不同飞行状态之间的过渡，并将其应用于 NASA 的 Lift+Cruise VTOL 概念机。

问题

许多机器人规划问题涉及未知或可调的时不变参数，例如负载质量或混合系统在每个模式中停留的时间。早期基于 DDP 的方法通过轨迹的初始条件来更新这类参数，这会使整个名义轨迹发生偏移，并损害收敛性。混合系统轨迹优化此前也主要针对使用简化模型的腿式机器人，很少有工作研究在悬停、过渡和巡航之间切换的城市空中交通飞行器等航空器。

提出的方法

作者写出了一个通用的最优控制目标，其中参数同时进入动力学和代价，并推导出参数化 DDP：反向传播过程在状态和参数上展开值函数，得到控制增益、参数前馈更新，以及一个在参数变化时保持控制量稳定的反馈项。他们证明了在线搜索条件和正则化下，从任意初始化出发都能收敛到驻点，并比较了同时更新控制量和参数、交替更新，以及仅在控制量收敛后才更新参数（STO-DDP）三种方式。同一算法被应用于与 MPC 并行运行的滚动时域估计，以及切换时间优化，后者采用每个模式固定步数、子步积分，以及保持时间尺度非负的投影牛顿求解器。

关键见解

• 将参数显式地放入动力学和代价中，而不是通过初始状态引入，可以得到控制量与参数的二阶联合更新，且与参数如何定义无关。
• 交替进行控制更新和参数更新，比同时更新两者或等待控制量收敛后再更新参数，更能逃离局部极小值。
• 将滚动时域估计与 MPC 结合，可使控制器在几步之内纠正严重错误的模型，然后到达目标。
• 对于切换时间问题，保持每个模式的时间步数不变并用更小的子步长进行积分，可以保持收敛性质并避免数值失败。

主要结果

• 四旋翼 MHE+MPC：质量和惯量估计值从初始猜测的 1 kg 和 1 kg·m² 在 15 个 MHE 步内（执行时间不到 0.2 s）收敛到真实值 0.468 kg 和 4.856×10⁻³ / 8.801×10⁻³ kg·m²；随后飞行器在总计 3 s 内到达目标。
• Ant 四足机器人（Brax 物理引擎，117 维状态）：腿长在 4 个 MHE 步内从 1.0 m 和 2.0 m 收敛到真实值 0.443 m 和 0.726 m。
• 倒立摆小车：杆开始运动后，在 50 步内正确估计出杆的质量（真实值 0.5 kg，初始值 2 kg）；前 15 步几乎没有进展。
• 多目标倒立摆小车切换时间任务，1000 次随机初始化：交替方案达到的代价平均比同时方案和 STO-DDP 低约半个数量级。
• NASA Lift+Cruise（500 次初始化）：时间最优的垂直起飞用时 5.63 s，随后用 9.79 s 达到巡航速度；反向机动在 500 ft 内用 6.87 s 从巡航减速到悬停，并在 4.87 s 内着陆。
• 仅使用 CPU 的 MATLAB 实现在 Intel i7-9850H 上，Lift+Cruise 任务每次迭代约需 1.5 s，其他任务每次迭代不到 1 s。

局限

• 作者称其运行时间对于 MPC 而言相当慢（Lift+Cruise 任务每次迭代约 1.5 s），并表示要实时使用需要更好的并行化。
• 同时方案在很大程度上依赖初始控制轨迹（它以 5 次标准 DDP 迭代进行热启动），并在四旋翼和 Lift+Cruise 任务上陷入了较差的解。
• 在 Lift+Cruise 任务中，交替方案在前 50 次迭代中落后于 STO-DDP，此时控制量仍然较差。
• 该方法假设状态完全可观测，且动力学和代价对状态、控制量和参数二阶可微；收敛性依赖于正则化来保持 Hessian 矩阵正定。
• 所有实验均在仿真中进行；未报告硬件测试。

对领域的影响

该论文入围了 RSS 2022 最佳学生论文奖决选。论文未提及代码或数据的发布。

摘要

微分动态规划（Differential Dynamic Programming，DDP）是一种高效的轨迹优化算法，依赖于系统动力学和代价函数的二阶近似，最近已被用于优化具有时不变参数的系统。先前的工作包括系统参数估计，以及确定混合动力系统各模式之间的最优切换时间。本文推广了先前的工作，提出了一个通用的参数化最优控制目标，并推导出 DDP 的参数化版本，称为参数化微分动态规划（Parameterized Differential Dynamic Programming，PDDP）。本文给出了该算法严格的收敛性分析，并证明无论初始化如何，PDDP 都会收敛到代价的一个极小值。本文还分析了改变优化方式以更有效地逃离局部极小值的效果。实验将 PDDP 应用于多个机器人系统，同时求解模型预测控制（MPC）和滚动时域估计（MHE）任务。最后，PDDP 被用于确定一种复杂的城市空中交通（UAM）类飞行器在不同飞行状态之间的最优过渡点，该飞行器具有多个飞行阶段。

链接

• arXiv 2204.03727: https://arxiv.org/abs/2204.03727
• PDF: https://arxiv.org/pdf/2204.03727v1