Parameterized Differential Dynamic Programming

著者: Alex Oshin, Matthew D. Houghton, Michael J. Acheson, Irene M. Gregory, Evangelos A. Theodorou · RSS 2022

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

PDDP は DDP に時不変パラメータを加え、制御入力とパラメータを同時に 2 次の更新で求める。MPC におけるオンラインのモデル同定や、飛行モード切り替えのタイミング決定に用いられる。

重要な理由

単一の 2 次ソルバで、システムを制御しながらモデルパラメータをオンラインで同定でき、ハイブリッドシステムが各モードにとどまる時間も選択できる。論文によれば、著者らの知る限り、飛行形態間の遷移の計画に切り替え時刻最適化を用いたのはこれが初めてであり、NASA の Lift+Cruise VTOL コンセプト機に適用している。

課題

多くのロボットの計画問題には、ペイロードの質量やハイブリッドシステムが各モードにとどまる時間など、未知または調整可能な時不変パラメータが含まれる。従来の DDP ベースの手法は、こうしたパラメータを軌道の初期条件を通じて更新していたため、ノミナル軌道全体がずれ、収束性が損なわれていた。また、ハイブリッドシステムの軌道最適化はこれまで主に簡略化モデルを用いた脚型ロボットを対象としており、ホバリング、遷移、巡航を切り替えるアーバンエアモビリティ機のような航空機についての研究はほとんどなかった。

提案手法

著者らは、パラメータがダイナミクスとコストの両方に入る一般的な最適制御の目的関数を書き下し、Parameterized DDP を導出する。後退パスでは価値関数を状態とパラメータについて展開し、制御ゲイン、パラメータのフィードフォワード更新、そしてパラメータが変化しても制御入力を安定に保つフィードバック項を得る。直線探索の条件と正則化のもとで、任意の初期化から停留点に収束することを証明し、制御入力とパラメータを同時に更新する方式、交互に更新する方式、制御入力が収束した後にのみ更新する方式（STO-DDP）を比較する。同じアルゴリズムを、MPC と並行して実行する移動ホライズン推定と、切り替え時刻最適化に適用する。後者では、モードごとのステップ数を固定し、サブステップによる積分と、時間スケールを非負に保つ射影ニュートン法ソルバを用いる。

主な知見

• パラメータを初期状態を介してではなく、ダイナミクスとコストの中で明示的に扱うことで、パラメータの定義の仕方によらず、制御入力とパラメータの 2 次の同時更新が得られる。
• 制御の更新とパラメータの更新を交互に行うほうが、両者を同時に更新する場合や制御入力の収束を待つ場合よりも、局所最適解からうまく脱出できた。
• 移動ホライズン推定を MPC と組み合わせることで、コントローラは大きく誤ったモデルを数ステップのうちに修正し、その後ゴールに到達できる。
• 切り替え時刻の問題では、モードごとのタイムステップ数を一定に保ち、より小さなサブステップで積分することで、収束性を維持し数値的な破綻を避けられる。

主な結果

• クアッドロータの MHE+MPC：質量と慣性の推定値は、初期推定値の 1 kg と 1 kg·m² から、15 MHE ステップ以内（実行時間 0.2 s 未満）に真値の 0.468 kg と 4.856×10⁻³ / 8.801×10⁻³ kg·m² に到達した。その後、機体は合計 3 s で目標に到達した。
• Ant 四脚ロボット（Brax 物理エンジン、117 次元の状態）：脚の長さは 4 MHE ステップ以内に 1.0 m と 2.0 m から真値の 0.443 m と 0.726 m に到達した。
• カートポール：ポールが動き始めてから 50 ステップ以内にポールの質量を正しく推定した（初期値 2 kg から真値 0.5 kg）。最初の 15 ステップではほとんど進展がなかった。
• 複数目標のカートポール切り替え時刻タスク、1000 回のランダム初期化：交互方式は、同時方式や STO-DDP と比べて平均で約半桁低いコストに到達した。
• NASA Lift+Cruise（500 回の初期化）：時間最適な垂直離陸は 5.63 s で、その後 9.79 s で巡航速度に達した。逆の機動では、500 ft 以内で 6.87 s かけて巡航からホバリングまで減速し、4.87 s で着陸した。
• CPU のみの MATLAB 実装は、Intel i7-9850H 上で Lift+Cruise タスクの 1 反復あたり約 1.5 s、その他のタスクでは 1 反復あたり 1 s 未満であった。

制限事項

• 著者らは、実行時間が MPC としてはかなり遅い（Lift+Cruise タスクで 1 反復あたり約 1.5 s）とし、リアルタイムで使うにはより良い並列化が必要だと述べている。
• 同時方式は初期の制御軌道に大きく依存し（標準的な DDP の 5 反復でウォームスタートした）、クアッドロータと Lift+Cruise のタスクでは質の悪い解に陥った。
• Lift+Cruise タスクでは、制御入力がまだ不十分だった最初の 50 反復の間、交互方式は STO-DDP に後れをとった。
• 本手法は、状態が完全に観測可能であること、ダイナミクスとコストが状態、制御入力、パラメータについて 2 回微分可能であることを仮定する。収束はヘッセ行列を正定値に保つための正則化に依存している。
• すべての実験はシミュレーションで行われており、ハードウェアでの試験は報告されていない。

分野への影響

本論文は RSS 2022 Best Student Paper Award のファイナリストとなった。コードやデータの公開については言及されていない。

概要

微分動的計画法（Differential Dynamic Programming、DDP）は、システムのダイナミクスとコスト関数の 2 次近似に基づく効率的な軌道最適化アルゴリズムであり、近年では時不変パラメータをもつシステムの最適化にも適用されている。先行研究には、システムパラメータの推定や、ハイブリッド動的システムのモード間の最適な切り替え時刻の特定が含まれる。本論文は、一般的なパラメータ化された最適制御の目的関数を提案し、Parameterized Differential Dynamic Programming（PDDP）と名付けた DDP のパラメトリック版を導出することで、先行研究を一般化する。本アルゴリズムの厳密な収束解析を示し、PDDP が初期化によらずコストの極小値に収束することを示す。局所最適解からより効果的に脱出するために最適化の方法を変えることの効果を分析する。複数のロボットシステムに PDDP を適用し、モデル予測制御（MPC）と移動ホライズン推定（MHE）のタスクを同時に解く実験を示す。最後に、複数の飛行フェーズをもつ複雑なアーバンエアモビリティ（UAM）クラスの機体について、飛行形態間の最適な遷移点を決定するために PDDP を用いる。

リンク

• arXiv 2204.03727: https://arxiv.org/abs/2204.03727
• PDF: https://arxiv.org/pdf/2204.03727v1