Do Differentiable Simulators Give Better Policy Gradients?

作者: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

在接触、刚度和混沌情况下，精确的仿真器梯度可能有偏或具有高方差；α 阶估计器在一个精度界约束下将它们与采样梯度混合。

为何重要

论文将其最简示例（摩擦、刚性接触、与尖锐几何体的碰撞）呈现为机器人操作等接触丰富任务的抽象，并认为这类任务必然涉及这些特性。其发现表明，对于用可微仿真器训练的策略，在这些情况下精确梯度可能把优化引向更差的极小值，而且接触刚度等仿真器建模选择会影响策略优化；作者将此作为一种可能的解释，说明为什么零阶 RL 解决了一阶方法难以解决的物理系统问题，但他们只在简单的仿真系统上进行了检验，并未在机器人上检验。

问题

可微仿真器给出一次 rollout 的精确梯度，可以替代强化学习通常依赖的零阶（基于采样的）梯度估计。在带接触的物理系统控制中出现的长时域、非光滑目标上，哪种估计器效果更好，此前并不清楚。

提出的方法

作者在经噪声平滑的策略目标上，从偏差和方差的角度分析了一阶批量梯度（FoBG，精确梯度的平均）和零阶批量梯度（ZoBG，REINFORCE 式）。随后他们提出了 α 阶批量梯度（AoBG），它是两者的加权混合，在保持其接近无偏零阶估计的约束下选择 α 以最小化方差，当样本太少而无法保证精度时退回到 α = 0。

关键见解

• 在库仑摩擦或尖锐碰撞几何等不连续性下，一阶估计器是有偏的，而零阶估计器保持无偏。
• 对不连续性的刚性连续近似会导致“经验偏差”：在有限样本下，一阶估计表现出很低的经验方差，却远离真实梯度，因此仅凭经验方差无法发现这一问题。
• 即使没有偏差，在刚性接触或混沌动力学下，一阶估计的方差也可能高于零阶估计，因为零阶估计的方差随时域乘以状态维数而增长，但不随导数的大小而增长。
• 两种估计器的偏差和方差不仅导致不同的收敛速度，还会导致不同的局部极小值。
• 像早期工作那样按最小经验方差进行插值，在不连续处附近可能严重不准确；加入精度约束可以解决这一问题。

主要结果

• 对于滑移容差为 ν 的库仑摩擦分段线性松弛，一阶估计具有 (c_σν, c_σ, 0) 的经验偏差，且当 ν → 0 时其方差按 1/ν 增长（其中 c_σ = 1/(√(2π)σ)）；在 ν = 0 时，它在期望意义下有偏且方差为零。
• 零阶估计的方差以 B_V²B_π²·Hn/(Nσ²) 为界，随时域 H 和状态维数 n 增长，但不随导数大小增长（Lemma 3.10）。
• 采用罚函数法接触的方块推动，时域 H = 200：在软弹簧（k = 10）下一阶估计器优于零阶估计器，在硬弹簧（k = 1000）下零阶估计器胜出，而 α 阶估计器在每种情况下都与两者中较好者相当。
• 网球（类似 breakout 的球拍）任务，采用 d = 21 个参数的线性反馈策略，H = 200：零阶和 α 阶估计器找到了能从不同初始条件把球弹回的策略，一阶估计器仍漏掉了许多球，α 阶估计器的收敛略快于零阶估计器。
• 在球与墙和动量传递的示例中，一阶估计器停滞在平坦区域，或被推下悬崖进入高代价区域，而零阶和 α 阶估计器达到了更好的极小值。
• 在双摆上，随着时域增长，一阶估计器的方差超过了零阶估计器。

局限

• 没有对基于优化的隐式时间步进的仿真器（例如 MuJoCo、PyBullet 和准静态方案）进行实证研究；作者预计几何不连续性在那里仍会是问题，并将其留待未来工作。
• 所有演示都是用 PyTorch 编写的简单数值示例（球、墙、枢轴杆、被推动的方块、滑动的箱子、双摆、球拍）；没有使用任何机器人、机器人模型或机器人学习基准。
• 刚性接触的方差问题只在固定时间步长下半隐式积分变得不稳定之前成立；减小时间步长有帮助，但会增加计算时间。
• 精度约束需要价值函数和策略雅可比矩阵的先验上界，并对两种估计器使用相互独立的轨迹；当样本太少而无法满足该界时，该方法退回到零阶估计。
• 分析假设在动作上注入高斯噪声，并将其视为对目标的平滑。

对领域的影响

获得 ICML 2022 杰出论文奖，被引用 166 次。论文没有说明会发布代码或数据。

摘要

可微仿真器有望通过用基于一阶梯度的估计替代随机目标的零阶梯度估计，为强化学习带来更快的计算速度。然而，尽管这个问题对于可微仿真器的实用性至关重要，但在涉及物理系统上长时域规划与控制的复杂优化地形中，究竟是哪些因素决定了这两种估计器的性能，目前仍不清楚。我们表明，某些物理系统的特性（例如刚度或不连续性）可能削弱一阶估计器的有效性，并从偏差和方差的角度分析了这一现象。我们还提出了一种 α 阶梯度估计器，其中 α ∈ [0, 1]，它正确地利用精确梯度，将一阶估计的效率与零阶方法的鲁棒性结合起来。我们在一些数值示例上展示了传统估计器的缺陷以及 α 阶估计器的优势。

链接

• arXiv 2202.00817: https://arxiv.org/abs/2202.00817
• DOI 10.48550/arXiv.2202.00817: https://doi.org/10.48550/arXiv.2202.00817
• PDF: https://arxiv.org/pdf/2202.00817v1