Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models

作者: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

平滑接触动力学，无论是像 RL 那样通过采样，还是用对数障碍函数解析地平滑，都能给出有用的梯度；结合凸的准动态模型，RRT 可在约一分钟内规划灵巧操作任务。

为何重要

该方法为接触丰富的任务提供了一种在线的、基于模型的替代方案，以取代训练强化学习策略：手内旋转、放置笔、靠墙拾取盘子和开门的规划在 CPU 上约一分钟量级即可生成。作者将此与依赖数小时或数天离线计算的 RL 工具进行对比，并称他们的规划器在环境和任务方面具有可推广性。

问题

通过接触进行基于模型的规划面临三个障碍：接触模式的数量爆炸式增长（3D 手内操作可能有数万亿种），接触动力学刚性且非光滑，因而梯度会爆炸或跳变，并且规划问题是非凸的。强化学习通过对接触模式进行采样和平均来处理接触丰富的操作，但依赖以小时或天计的离线计算。现有的面向接触的基于采样的规划器会显式地枚举或采样接触模式，随接触数量增加扩展性很差。

提出的方法

作者首先表明，随机平滑（像 RL 那样采样并取平均）和解析平滑计算的是同一个平滑替代模型的局部线性模型，在简单系统上二者等价。随后他们构建了 CQDC，这是一种凸的、准动态的、可微的接触模型，被表述为采用 Anitescu 摩擦松弛的二阶锥规划，其梯度来自 KKT 条件，并用对数障碍松弛进行解析平滑。最后，他们运行 RRT，其局部 Mahalanobis 距离度量和扩展步骤均由平滑线性化构建，加入一个将机器人重新放置到接触状态的接触采样步骤，并用迭代 MPC 和捷径化来细化得到的路径。

关键见解

随机平滑（RL 所用的方式）和解析平滑是计算同一平滑动力学局部线性模型的两种方式；它们在简单系统上等价，在复杂示例上表现也相近。
通过对数障碍松弛进行解析平滑，每次线性化只需求解一次，因此比对 100 个样本取平均的随机平滑运行得更快。
准动态模型去掉了速度和瞬态动力学，使状态维度减半，并允许使用大得多的时间步长，因此每次线性化都能向规划器提供更多关于长期行为的信息。
由平滑线性化构建的局部 Mahalanobis 度量使 RRT 能够遵循接触可达性；手动调节的全局统一加权欧氏度量表现差得多。
对于需要重新放置机器人的任务（平面推动、平面手、Allegro 手内旋转），接触采样必不可少，但对于拾取盘子或放置笔则不需要。

主要结果

迭代 MPC，10 次迭代、5 次试验中的最小代价：Allegro 手内旋转在解析平滑下为 5.78，使用精确（未平滑）梯度时为 44.68；平面推动为 11.74 对比 31.64。
在接触模式变化很少的平面手任务上，精确梯度也表现良好（代价 18.49，解析平滑为 26.55，一阶随机平滑为 17.87）。
在 32 个线程上使用 100 个样本时，随机平滑在迭代 MPC 中比解析平滑慢 2 到 3 倍（Allegro 旋转：40.07 s 对比 19.59 s）。
使用解析平滑运行 1000 次迭代的 RRT 耗时 3.25 s（平面推动）、31.01 s（Allegro 旋转）、24.84 s（放置笔）、12.42 s（开门）和 117.16 s（拾取盘子）；一阶随机平滑耗时 7.50 s 到 161.64 s。
在每个 RRT 任务中，对度量和扩展使用精确线性化时，目标距离和空间覆盖都比任何平滑方案差得多。
所有实验都在一台配备 AMD Threadripper 2950 CPU（16 核，32 线程）和 32 GB RAM 的台式机上运行。

局限

接触采样会让机器人在不同构型之间瞬移，这在物理上不成立；它只在移开手指后物体仍保持静态平衡时才有效（例如球放在朝上的手掌上），对朝下的手则不适用。
较大的扩展步长会因 Anitescu 对库仑摩擦的凸松弛而产生非物理的伪影，因此需要用迭代 MPC 和捷径化进行细化，才能得到物理上真实的轨迹。
准动态假设在高度动态的行为中不再成立。
树的生长仍可能陷入停滞，从一个父节点长出许多失败子节点，形成“扫帚”。
此版本中的所有结果均在仿真中得到（在 Drake 中实现）；实时规划被列为未来工作。

对领域的影响

该论文获得了 T-RO 2024 King-Sun Fu 纪念最佳论文奖（荣誉提名），被引用 210 次。论文发布了所生成规划的视频；此版本未提供代码链接。

摘要

强化学习（RL）在接触丰富的操作场景中取得了经验上的成功，但从基于模型的角度来看，仍有许多问题有待理解；在这一视角下，关键困难通常被归因于：(i) 接触模式的爆炸式增长，(ii) 刚性、非光滑的接触动力学及由此导致的梯度爆炸/不连续，以及 (iii) 规划问题的非凸性。RL 的随机性通过有效地对接触模式进行采样和平均，解决了 (i) 和 (ii)。另一方面，基于模型的方法通过解析地平滑接触动力学来应对同样的挑战。我们的第一个贡献是在简单系统上建立了这两种方法的理论等价性，并在若干复杂示例上给出了定性和经验上的等价性。为了进一步缓解 (ii)，我们的第二个贡献是一种凸的、可微的准动态接触动力学表述，它适用于这两种平滑方案，并且实验证明它对接触丰富的规划非常有效。我们的最后一个贡献解决了 (iii)：我们表明，当通过平滑对接触模式进行抽象时，经典的基于采样的运动规划算法可以有效地进行全局规划。将我们的方法应用于一系列具有挑战性的接触丰富操作任务，我们证明了高效的基于模型的运动规划能够以大幅更少的计算量取得与 RL 相当的结果。视频：https://youtu.be/12Ew4xC-VwA

链接

arXiv 2206.10787: https://arxiv.org/abs/2206.10787
DOI 10.1109/TRO.2023.3300230: https://doi.org/10.1109/TRO.2023.3300230
PDF: https://arxiv.org/pdf/2206.10787v1