Do Differentiable Simulators Give Better Policy Gradients?

著者: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

厳密なシミュレータ勾配は、接触、剛性、カオスのもとでバイアスを持ったり分散が大きくなったりしうる。α 次推定量は、精度の上限のもとでそれをサンプリングによる勾配と混合する。

重要な理由

論文は、その最小限の例（摩擦、硬い接触、鋭い形状との衝突）をロボットマニピュレーションのような接触の多いタスクの抽象化として示し、そうしたタスクは必然的にこれらの特性を伴うと主張している。その知見は、微分可能シミュレータで学習する方策について、こうした場合に厳密な勾配が最適化をより悪い極小値へ導きうること、そして接触剛性のようなシミュレータのモデリングの選択が方策最適化に影響することを示唆している。著者らはこれを、1 次手法が苦戦した物理システムの問題を 0 次の RL が解いてきた理由の 1 つの可能な説明として提示しているが、検証は単純なシミュレーション上のシステムのみで行っており、ロボットでは行っていない。

課題

微分可能シミュレータはロールアウトの厳密な勾配を与え、強化学習が通常依存する 0 次（サンプリングベース）の勾配推定の代わりになりうる。接触を伴う物理システムの制御で生じる、長いホライズンで滑らかでない目的関数において、どちらの推定量がより良く機能するかは明らかでなかった。

提案手法

著者らは、ノイズで平滑化した方策の目的関数について、1 次バッチ勾配（FoBG、厳密な勾配の平均）と 0 次バッチ勾配（ZoBG、REINFORCE 型）をバイアスと分散の観点から分析する。次に、両者の重み付き混合である α 次バッチ勾配（AoBG）を提案する。これは、不偏な 0 次推定の近くに保つ制約のもとで分散を最小化するように α を選び、精度を保証するにはサンプルが少なすぎる場合は α = 0 に戻る。

主な知見

• クーロン摩擦や鋭い衝突形状のような不連続性のもとでは、1 次推定量はバイアスを持ち、0 次推定量は不偏のままである。
• 不連続性を硬い連続関数で近似すると「経験的バイアス」が生じる。有限のサンプルでは、1 次推定は経験分散が小さいにもかかわらず真の勾配から遠く離れるため、経験分散だけではこの問題を検出できない。
• バイアスがなくても、硬い接触やカオス的なダイナミクスのもとでは 1 次推定の分散が 0 次推定より大きくなりうる。0 次推定の分散はホライズンと状態次元の積に応じて増えるが、導関数の大きさには依存しないためである。
• 2 つの推定量のバイアスと分散は、収束速度の違いだけでなく、異なる局所最適解をもたらす。
• 先行研究のように経験分散の最小化によって補間すると、不連続点の近くで大きく不正確になりうる。精度の制約を加えることでこれが解決される。

主な結果

• 滑り許容量 ν を持つクーロン摩擦の区分線形緩和では、1 次推定は (c_σν, c_σ, 0) の経験的バイアスを持ち、ν → 0 でその分散は 1/ν に比例して増える（c_σ = 1/(√(2π)σ)）。ν = 0 では期待値においてバイアスを持ち、分散はゼロになる。
• 0 次推定の分散は B_V²B_π²·Hn/(Nσ²) で上から抑えられ、ホライズン H と状態次元 n に応じて増えるが、導関数の大きさには依存しない（Lemma 3.10）。
• ペナルティ法による接触でのブロック押し、ホライズン H = 200：柔らかいばね（k = 10）では 1 次推定量が 0 次推定量を上回り、硬いばね（k = 1000）では 0 次推定量が勝り、α 次推定量はそれぞれの場合で両者のうち良いほうと同等だった。
• テニス（breakout に似たパドル）、d = 21 パラメータの線形フィードバック方策、H = 200：0 次と α 次の推定量は異なる初期条件からボールを打ち返す方策を見つけたが、1 次推定量は依然として多くのボールを取り逃がし、α 次推定量は 0 次推定量よりわずかに速く収束した。
• ボールと壁、および運動量伝達の例では、1 次推定量は平坦な領域で停滞するか、崖から高コストの領域へ押し出された一方、0 次と α 次の推定量はより良い極小値に到達した。
• 二重振子では、ホライズンが長くなるにつれて 1 次推定量の分散が 0 次推定量を上回った。

制限事項

• 最適化ベースの陰的な時間ステップを用いるシミュレータ（MuJoCo、PyBullet、準静的スキームなど）は実験的に調べられていない。著者らは、そこでも幾何的な不連続性が問題として残ると予想し、今後の課題としている。
• すべての実証は PyTorch で書かれた単純な数値例（ボール、壁、ピボットバー、押されるブロック、滑る箱、二重振子、パドル）であり、ロボット、ロボットモデル、ロボット学習のベンチマークは用いられていない。
• 硬い接触による分散の問題が成り立つのは、固定タイムステップで半陰的積分が不安定になるまでである。タイムステップを小さくすると改善するが、計算時間が増える。
• 精度の制約には、価値関数と方策のヤコビアンに対する事前の上限が必要であり、2 つの推定量に独立な軌道を用いる。上限を満たすにはサンプルが少なすぎる場合、手法は 0 次推定に戻る。
• 分析は行動に注入されるガウスノイズを仮定しており、これを目的関数の平滑化として扱っている。

分野への影響

ICML 2022 Outstanding Paper Award を受賞し、被引用数は 166。論文はコードやデータの公開について述べていない。

概要

微分可能シミュレータは、確率的な目的関数の 0 次の勾配推定を 1 次の勾配に基づく推定に置き換えることで、強化学習の計算時間を短縮することが期待されている。しかし、この問いは微分可能シミュレータの有用性にとって極めて重要であるにもかかわらず、物理システム上での長いホライズンの計画と制御を伴う複雑なランドスケープにおいて、2 つの推定量の性能を決める要因が何であるかはまだ明らかでない。我々は、剛性や不連続性など、ある種の物理システムの特性が 1 次推定量の有効性を損ないうることを示し、この現象をバイアスと分散の観点から分析する。さらに、α ∈ [0, 1] とする α 次勾配推定量を提案する。これは厳密な勾配を正しく利用し、1 次推定の効率と 0 次手法のロバスト性を組み合わせる。いくつかの数値例で、従来の推定量の落とし穴と α 次推定量の利点を示す。

リンク

• arXiv 2202.00817: https://arxiv.org/abs/2202.00817
• DOI 10.48550/arXiv.2202.00817: https://doi.org/10.48550/arXiv.2202.00817
• PDF: https://arxiv.org/pdf/2202.00817v1