Parameterized Differential Dynamic Programming

作者: Alex Oshin, Matthew D. Houghton, Michael J. Acheson, Irene M. Gregory, Evangelos A. Theodorou · RSS 2022

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

PDDP 在 DDP 中加入非時變參數，讓控制量與參數獲得聯合的二階更新，用於 MPC 中的線上模型識別，以及決定飛行模式切換的時機。

為何重要

單一個二階求解器就能在控制系統的同時線上識別模型參數，也能選擇混合系統在每個模式中停留多久。論文表示，就作者所知，這是首次以切換時間最佳化來規劃不同飛行狀態之間的轉換，並應用於 NASA 的 Lift+Cruise VTOL 概念機。

問題

許多機器人規劃問題都涉及未知或可調整的非時變參數，例如酬載質量，或混合系統在每個模式中停留的時間。早期以 DDP 為基礎的方法透過軌跡的初始條件來更新這類參數，這會讓整條標稱軌跡跟著偏移，並損害收斂性。混合系統的軌跡最佳化過去也大多針對採用簡化模型的腿式機器人，很少有研究探討會在懸停、轉換與巡航之間切換的城市空中運輸載具等飛行器。

提出的方法

作者寫出一個通用的最佳控制目標，其中參數同時出現在動力學與成本之中，並推導出參數化 DDP：反向傳遞在狀態與參數上展開價值函數，得到控制增益、參數前饋更新，以及一個在參數改變時讓控制量保持穩定的回饋項。他們證明在線搜尋條件與正規化之下，從任何初始化出發都會收斂到駐點，並比較了同時更新控制量與參數、交替更新，以及只在控制量收斂後才更新參數（STO-DDP）三種做法。同一個演算法也被用於與 MPC 並行執行的移動視窗估測，以及切換時間最佳化；後者採用每個模式固定步數、子步積分，以及讓時間尺度維持非負的投影牛頓求解器。

關鍵見解

• 把參數明確放進動力學與成本之中，而不是經由初始狀態引入，就能得到控制量與參數的二階聯合更新，而且與參數的定義方式無關。
• 交替進行控制更新與參數更新，比同時更新兩者或等控制量收斂後再更新參數，更能跳脫局部極小值。
• 將移動視窗估測與 MPC 結合，能讓控制器在幾步之內修正嚴重錯誤的模型，接著抵達目標。
• 對於切換時間問題，讓每個模式的時間步數保持不變，並以較小的子步長進行積分，可以保有收斂性質並避免數值失敗。

主要結果

• 四旋翼 MHE+MPC：質量與慣量的估測值從初始猜測的 1 kg 與 1 kg·m²，在 15 個 MHE 步之內（執行時間不到 0.2 s）收斂到真實值 0.468 kg 與 4.856×10⁻³ / 8.801×10⁻³ kg·m²；隨後載具在總計 3 s 內抵達目標。
• Ant 四足機器人（Brax 物理引擎，117 維狀態）：腿長在 4 個 MHE 步之內從 1.0 m 與 2.0 m 收斂到真實值 0.443 m 與 0.726 m。
• 倒單擺台車：擺桿開始運動後，在 50 步之內正確估測出擺桿質量（真實值 0.5 kg，初始值 2 kg）；前 15 步幾乎沒有進展。
• 多目標倒單擺台車切換時間任務，1000 次隨機初始化：交替方案達到的成本平均比同時方案與 STO-DDP 低約半個數量級。
• NASA Lift+Cruise（500 次初始化）：時間最佳的垂直起飛耗時 5.63 s，接著以 9.79 s 達到巡航速度；反向操作在 500 ft 之內以 6.87 s 從巡航減速到懸停，並在 4.87 s 內降落。
• 只使用 CPU 的 MATLAB 實作在 Intel i7-9850H 上，Lift+Cruise 任務每次迭代約需 1.5 s，其他任務每次迭代不到 1 s。

限制

• 作者表示其執行時間對 MPC 而言相當慢（Lift+Cruise 任務每次迭代約 1.5 s），並指出要即時使用需要更好的平行化。
• 同時方案高度依賴初始控制軌跡（它以 5 次標準 DDP 迭代進行熱啟動），在四旋翼與 Lift+Cruise 任務上落入了較差的解。
• 在 Lift+Cruise 任務中，交替方案在前 50 次迭代落後於 STO-DDP，這段期間控制量仍然不佳。
• 此方法假設狀態完全可觀測，且動力學與成本對狀態、控制量與參數皆為二次可微；收斂性仰賴正規化來讓 Hessian 矩陣保持正定。
• 所有實驗都在模擬中進行；沒有報告硬體測試。

對領域的影響

這篇論文入圍 RSS 2022 最佳學生論文獎決選。論文沒有提到程式碼或資料的釋出。

摘要

微分動態規劃（Differential Dynamic Programming，DDP）是一種有效率的軌跡最佳化演算法，仰賴系統動力學與成本函數的二階近似，近來已被用來最佳化具有非時變參數的系統。先前的研究包括系統參數估測，以及找出混合動態系統各模式之間的最佳切換時間。本文推廣了先前的研究，提出一個通用的參數化最佳控制目標，並推導出 DDP 的參數化版本，稱為參數化微分動態規劃（Parameterized Differential Dynamic Programming，PDDP）。本文提供了該演算法嚴謹的收斂性分析，並證明不論初始化為何，PDDP 都會收斂到成本的一個極小值。本文也分析了改變最佳化方式以更有效跳脫局部極小值的效果。實驗將 PDDP 套用於多個機器人系統，同時解決模型預測控制（MPC）與移動視窗估測（MHE）任務。最後，PDDP 被用來決定一種複雜的城市空中運輸（UAM）類載具在不同飛行狀態之間的最佳轉換點，該載具具有多個飛行階段。

連結

• arXiv 2204.03727: https://arxiv.org/abs/2204.03727
• PDF: https://arxiv.org/pdf/2204.03727v1