Do Differentiable Simulators Give Better Policy Gradients?

作者: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

在接觸、剛性與混沌之下，精確的模擬器梯度可能有偏或具高變異數；α 階估計器在一個準確度界限下，將它們與取樣梯度混合。

為何重要

論文把其最精簡的範例（摩擦、剛性接觸、與尖銳幾何的碰撞）呈現為機器人操作等接觸豐富任務的抽象，並主張這類任務必然涉及這些特性。其發現顯示，對於以可微分模擬器訓練的策略，在這些情況下精確梯度可能把最佳化導向較差的極小值，而接觸剛性等模擬器建模選擇會影響策略最佳化；作者以此作為一種可能的解釋，說明為何零階 RL 解決了一階方法難以處理的物理系統問題，但他們只在簡單的模擬系統上驗證，而非在機器人上。

問題

可微分模擬器提供一次 rollout 的精確梯度，可取代強化學習通常仰賴的零階（基於取樣的）梯度估計。在帶接觸之物理系統控制中出現的長時域、非平滑目標上，哪一種估計器效果較好，過去並不清楚。

提出的方法

作者在經雜訊平滑的策略目標上，從偏差與變異數的角度分析一階批次梯度（FoBG，精確梯度的平均）與零階批次梯度（ZoBG，REINFORCE 式）。接著他們提出 α 階批次梯度（AoBG），即兩者的加權混合，在使其貼近無偏零階估計的約束下選擇 α 以最小化變異數，當樣本太少而無法保證準確度時則退回 α = 0。

關鍵見解

• 在庫侖摩擦或尖銳碰撞幾何等不連續性之下，一階估計器有偏，而零階估計器維持無偏。
• 以剛性的連續近似來處理不連續性，會造成「經驗偏差」：在有限樣本下，一階估計呈現很低的經驗變異數，卻遠離真實梯度，因此單憑經驗變異數無法察覺此問題。
• 即使沒有偏差，在剛性接觸或混沌動力學之下，一階估計的變異數也可能高於零階估計，因為零階估計的變異數隨時域乘以狀態維度而增加，卻不隨導數的大小而增加。
• 兩種估計器的偏差與變異數不只造成不同的收斂速率，還會導向不同的局部極小值。
• 像早期研究那樣依最小經驗變異數進行內插，在不連續處附近可能嚴重失準；加入準確度約束即可修正。

主要結果

• 對於滑移容許值為 ν 的庫侖摩擦分段線性鬆弛，一階估計具有 (c_σν, c_σ, 0) 的經驗偏差，且當 ν → 0 時其變異數按 1/ν 增加（其中 c_σ = 1/(√(2π)σ)）；在 ν = 0 時，它在期望值上有偏，且變異數為零。
• 零階估計的變異數以 B_V²B_π²·Hn/(Nσ²) 為上界，隨時域 H 與狀態維度 n 增加，但不隨導數大小增加（Lemma 3.10）。
• 採用懲罰法接觸的方塊推動，時域 H = 200：軟彈簧（k = 10）時一階估計器優於零階估計器，硬彈簧（k = 1000）時零階估計器勝出，而 α 階估計器在每種情況下都與兩者中較佳者相當。
• 網球（類似 breakout 的球拍）任務，使用 d = 21 個參數的線性回饋策略，H = 200：零階與 α 階估計器找到了能從不同初始條件把球彈回的策略，一階估計器仍漏接許多球，而 α 階估計器的收斂略快於零階估計器。
• 在球與牆以及動量傳遞的範例中，一階估計器停滯在平坦區域，或被推下懸崖進入高成本區域，而零階與 α 階估計器達到了較佳的極小值。
• 在雙擺上，隨著時域拉長，一階估計器的變異數超過了零階估計器。

限制

• 並未對採用基於最佳化之隱式時間步進的模擬器（例如 MuJoCo、PyBullet 與準靜態方案）進行實證研究；作者預期幾何不連續性在那些模擬器中仍會是問題，並留待未來研究。
• 所有展示都是以 PyTorch 撰寫的簡單數值範例（球、牆、樞軸桿、被推動的方塊、滑動的箱子、雙擺、球拍）；沒有使用任何機器人、機器人模型或機器人學習基準。
• 剛性接觸的變異數問題只在固定時間步長下半隱式積分變得不穩定之前成立；縮小時間步長有幫助，但代價是計算時間。
• 準確度約束需要價值函數與策略 Jacobian 矩陣的先驗上界，並為兩種估計器使用彼此獨立的軌跡；當樣本太少而無法滿足此界限時，方法會退回零階估計。
• 分析假設在動作上注入高斯雜訊，並將其視為對目標的平滑。

對領域的影響

榮獲 ICML 2022 傑出論文獎，被引用 166 次。論文並未表示會釋出程式碼或資料。

摘要

可微分模擬器以基於一階梯度的估計，取代隨機目標的零階梯度估計，可望為強化學習帶來更快的計算時間。然而，儘管這個問題對可微分模擬器的實用性至關重要，在涉及物理系統之長時域規劃與控制的複雜地形上，是哪些因素決定這兩種估計器的效能，目前仍不清楚。我們顯示，某些物理系統的特性（例如剛性或不連續性）可能削弱一階估計器的效能，並從偏差與變異數的角度分析此現象。我們另外提出一種 α 階梯度估計器，其中 α ∈ [0, 1]，它正確地運用精確梯度，結合一階估計的效率與零階方法的強健性。我們以一些數值範例展示傳統估計器的缺陷，以及 α 階估計器的優點。

連結

• arXiv 2202.00817: https://arxiv.org/abs/2202.00817
• DOI 10.48550/arXiv.2202.00817: https://doi.org/10.48550/arXiv.2202.00817
• PDF: https://arxiv.org/pdf/2202.00817v1