Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

An Online Learning Approach to Model Predictive Control

著者: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

ライセンス

  • オープンアクセス
  • 論文: CC0 1.0 Universal

以下の内容はすべて、著者が CC0 1.0 Universal のもとで公開した論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

MPC をオンライン学習とみなすことで DMD-MPC が得られる。これは MPPI と CEM を含むファミリーであり、それらのステップサイズを調整パラメータとして表に出し、1:5 スケールの AutoRally 車で動作する。

重要な理由

この枠組みにより、MPC の設計は損失、制御分布、ダイバージェンスの選択に帰着し、ステップサイズが明示的なパラメータになる。シミュレーションの AutoRally でのパラメータ掃引では、ステップサイズを小さくすると、はるかに少ないサンプル数でも制御器は性能の大部分を維持でき、著者らは多くのロールアウトを取れない組み込みシステムに向けてこの点を挙げている。

課題

MPPI やクロスエントロピー法などの MPC アルゴリズムは異なる仮定とヒューリスティックから導かれたため、それらを設計・調整するための共通の手順がない。更新則はステップサイズ 1 のような設計上の選択を固定しているが、それは必ずしも最適ではなく、計算資源によってサンプリングできるロールアウトの数が制限される場合にはこれが問題になる。

提案手法

著者らは MPC をオンライン学習に対応付ける：各制御ステップが 1 ラウンド、意思決定が制御分布のパラメータ、ラウンドごとの損失が現在の状態における MPC の目的関数である。MPC のシフト演算子を予測モデルとして動的ミラー降下法を適用すると DMD-MPC が得られる。これは 3 つの選択、すなわち損失（期待コスト、低コスト確率、指数効用）、制御分布（例：ガウス分布、カテゴリカル分布、ラプラス分布）、Bregman ダイバージェンスによって定義されるファミリーである。MPPI と CEM はステップサイズ 1 の特殊ケースとして再導出される。

主な知見

  • 前回の解をシフトしたものから MPC をウォームスタートすることは、動的ミラー降下法における予測モデルの役割を果たし、動的リグレットは計画が MPC の目的関数とどれだけ一貫しているかを測る。
  • MPPI は指数効用損失から、CEM は低コスト確率損失から導かれ、どちらもステップサイズは 1 である。ステップサイズは自由なパラメータであり、元のアルゴリズムはそれを固定している。
  • 指数型分布族の制御分布では、更新は前回の期待値パラメータと効用で重み付けした十分統計量の凸結合になる。
  • 効用ベースの損失は高コストのロールアウトにほぼゼロの重みを与える。単純な期待コスト損失では、コースを外れたロールアウトが勾配推定を支配し、車はゆっくり走るか壁に衝突した。
  • 離散的な制御はカテゴリカル分布と指数化勾配更新で扱い、コストは指示関数のように不連続でもよい。

主な結果

  • シミュレーションの倒立振子台車、バイアスのあるモデル（モデルの棒の長さ 0.346 m、真値 0.326 m）：連続的な制御では、広い範囲の効用パラメータにわたって、1 より大きいステップサイズが MPPI と CEM で使われるステップサイズ 1 に比べて大きな向上をもたらした。
  • シミュレーションの AutoRally：勾配あたり 1920 サンプルを超えると向上は小さく、適切なステップサイズでは 192 サンプルで、ステップサイズ 1・3840 サンプルの場合と数秒以内の差のラップタイムが得られた。
  • 期待コスト損失を用いたシミュレーションの AutoRally：3840 サンプルでも性能は劇的に悪く、最良の場合でも車は 4 m/s 未満でコースの中央にとどまるだけだった。
  • 実機の AutoRally、1920 サンプル：目標 13 m/s でラップタイムは 9.71 ± 0.17 s（ガウス、ステップ 1、すなわち MPPI）、9.76 ± 0.14 s（ガウス、ステップ 0.9）、10.03 ± 0.16 s（ラプラス、ステップ 0.9）。7 m/s では 10.49 ± 0.08、10.66 ± 0.09、10.91 ± 0.14 s。
  • 実機の AutoRally、目標 12 m/s、2 回目の実験セット：1920 サンプルではステップ 0.8 で 10.70 ± 0.19 s、ステップ 1 で 10.90 ± 0.16 s。192 サンプルではステップ 0.8 と 0.6 がともに 10.97 s、ステップ 1 で 11.10 ± 0.17 s。

制限事項

  • 動的リグレットが小さいことは、絶対的な制御性能が良いことを意味しない。計画が選んだ MPC の目的関数と一貫していることを意味するにすぎない。
  • 2 つの実世界の実験セットは異なる条件で行われ（2 回目は最高速度が制限される状態の悪いコース）、互いに比較できない。時間不足のため、1920 サンプル・ステップサイズ 0.6 は試されていない。
  • サンプルが少なくステップサイズが大きい場合（64 サンプル、ステップ 1）、シミュレーションの車はゆっくりと不安定に走り、ときどき停止した。
  • 実機では、新しい変種は MPPI を上回ったのではなく同程度の性能だった：1 回目の実験セットでは、両方の目標速度で MPPI（ガウス、ステップ 1）のラップタイムが最も短かった。
  • AutoRally のダイナミクスモデルは人間の運転データに当てはめた決定論的なニューラルネットワークであり、実世界の走行では制御分布の平均のみが最適化された。

分野への影響

RSS 2019 Best Student Paper Award を受賞し、RSS 2019 Best Systems Paper Award のファイナリストにも選ばれた。被引用数 86。論文にはコードやデータへのリンクはない。

概要

モデル予測制御（MPC）は、動的な制御タスクを解くための強力な手法である。本論文では、MPC と、最適化の文献でオンラインの意思決定を解析するための抽象的な理論的枠組みであるオンライン学習との間に、密接な関係が存在することを示す。この新しい視点は、強力なオンライン学習アルゴリズムを MPC アルゴリズムの設計に活用するための基盤を与える。具体的には、非定常な設定のために設計されたオンライン学習アルゴリズムである動的ミラー降下法（DMD）に基づく新しいアルゴリズムを提案する。我々のアルゴリズムである Dynamic Mirror Decent Model Predictive Control（DMD-MPC）は、多くの既存手法を特殊な例として含む、MPC アルゴリズムの一般的なファミリーを表す。DMD-MPC はまた、MPC でこれまで用いられてきたヒューリスティックに新たな視点を与え、新しい MPC アルゴリズムを原理に基づいて設計する方法を示唆する。本論文の実験の節では、単純なシミュレーションの倒立振子台車（cartpole）と、シミュレーションおよび実世界でのアグレッシブな走行タスクにおいて一連の新しい MPC アルゴリズムを示し、DMD-MPC の柔軟性を実証する。

リンク

  • arXiv 1902.08967: https://arxiv.org/abs/1902.08967
  • DOI 10.48550/arXiv.1902.08967: https://doi.org/10.48550/arXiv.1902.08967
  • PDF: https://arxiv.org/pdf/1902.08967v1

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。