Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

作者: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

RRT 生成的示范具有很高的动作熵，会损害行为克隆；一致性更好的规划器数据能为接触丰富型任务训练出可零样本迁移到硬件的扩散策略。

为何重要

论文表明，决定基于规划示范的行为克隆能否成功的，是规划器的设计，而不仅是数据量：低熵数据胜过了具有概率完备性的 RRT 数据，尽管 RRT 对状态的覆盖略好。它为那些涉及整臂接触和多指协调、当前遥操作接口难以示范的任务提供了获取训练数据的方法。

问题

行为克隆主要在人类能够遥操作完成示范的场景中取得了成功，但常见的遥操作接口只跟踪末端执行器，因此涉及整臂接触或多指协调的示范很难收集。把强化学习作为数据来源时，约束被当作奖励惩罚，这使奖励塑形和仿真到现实的迁移变得复杂。本文探讨基于模型的接触规划器应如何为这类任务生成训练数据。

提出的方法

一个使用平滑化准动态接触模型的规划器先提出规划，再在不做接触平滑的物理仿真器中分段重新执行，以产生状态-动作示范；随后把实际到达的状态重新标注为目标（事后目标重标注）。在这些数据上训练一个目标条件扩散策略（带 FiLM 条件调制的 1D U-Net）。为了一致性，规划器做了修改：双臂任务使用贪心搜索；手内任务则在 24 个标准立方体朝向上使用稀疏概率路线图，并配合固定的基元和预先计算的抓取。

关键见解

• RRT 在每次扩展树时都会采样子目标，由此产生的示范动作熵很高，难以从中学习，在数据很少时尤其如此。
• 更好的状态覆盖并没有带来更好的策略：RRT 数据覆盖的状态略多，但训练出的策略明显不如贪心规划器数据训练出的策略。
• 事后目标重标注（hindsight goal relabelling）把次优或失败的示范转化为针对其实际到达状态的有效训练对。
• 在立方体任务中，由主策略和最终调整策略组成的混合策略可以抵消数据不平衡，使仿真成功率比单一统一策略提高约 10%。
• 使用了较长的动作时域（40 和 60 步），因为短时域会因在不同动作模式之间切换而产生抖动的运动。

主要结果

• 仿真中的 IiwaBimanual（100 个初始位置）：使用 100 个示范时，贪心规划器数据达到 99% 成功率，Contact-RRT 数据为 44%；使用 500、1,000 和 5,000 个示范时，分别为 98%、99% 和 100%，对比 63%、88% 和 84%。
• 仿真，100 个初始位姿：混合策略在 AllegroHand-Easy 上为 82%，在 AllegroHand-Hard 上为 68%，统一策略为 74% 和 57%；IiwaBimanual 为 99%。
• 硬件 AllegroHand（混合策略）：每个变体 24 次试验中成功 15 次（62.5%），成功试验的朝向误差为 13.7 ± 5.9°（Easy）和 15.5 ± 5.2°（Hard）。
• 硬件 IiwaBimanual：20 次试验中成功 18 次（90%）；失败的试验最终朝向误差约为 15°，略高于 0.2 rad（11.5°）的阈值。
• 尽管存在模型失配（真实物体为 1.25 kg、直径 0.59 m，仿真中为 1.0 kg、0.6 m），且未使用域随机化，迁移仍是零样本的。

局限

• 策略常常无法对训练数据中没有的分布外状态做出反应，这是预先计算基元的结果；这种情况在硬件上更常发生。
• DAgger 式的纠正难以应用，因为规划器无法从任意的系统构型出发找到解。
• IiwaBimanual 策略有时会在顺时针和逆时针旋转之间来回抖动，因此常常耗时超过必要；AllegroHand 策略有时会使用比所需更长的基元序列。
• 统一 AllegroHand 策略的最佳数据混合比例尚无定论，而用上一次动作预测对推理进行热启动以减少抖动，留待未来工作。
• 在训练或数据生成过程中，没有对物体或机器人的几何形状或摩擦进行域随机化。

对领域的影响

该论文获得 RA-L 最佳论文奖（列为 RA-L 2026），被引用 23 次。论文发布了一段硬件实验视频（https://youtu.be/CxgjJmiiEhI）；论文没有提到发布代码或数据集。

摘要

行为克隆（BC）在机器人操作中取得的巨大成功，主要局限于能够通过人类遥操作有效收集示范的任务。然而，对于需要复杂协调多个接触的接触丰富型操作任务，由于当前遥操作接口的局限，示范很难收集。我们研究如何利用基于模型的规划与优化，为接触丰富的灵巧操作任务生成训练数据。我们的分析表明，像快速扩展随机树（RRT）这类流行的基于采样的规划器，虽然在运动规划中很高效，但生成的示范具有不利的高熵。这促使我们修改数据生成流程，在保持解的多样性的同时优先保证示范的一致性。结合一种基于扩散的目标条件 BC 方法，我们的方法在两项具有挑战性的接触丰富型操作任务上实现了有效的策略学习，并能零样本迁移到硬件上。

链接

• arXiv 2412.09743: https://arxiv.org/abs/2412.09743
• DOI 10.1109/LRA.2025.3564701: https://doi.org/10.1109/LRA.2025.3564701
• PDF: https://arxiv.org/pdf/2412.09743v1