RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

作者: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

RoPotter 利用黏土的 2D 截面和基于网格的被遮挡点恢复，教机器人在陶轮上把黏土塑造成两种碗，每种各用 40 次演示。

为何重要

它定义了一项连续体积型可变形物体操作的长时程任务，只使用一根没有自由度的简单刚性手指，并表明低成本的任务先验（对称性和局部刚性）可以替代学习得到的动力学模型。其评估方法通过 Chamfer 距离和 CLIP 相似度将制作出的碗与演示中的碗进行比较，对于没有明确成功标签的任务是一种可行的做法。

问题

黏土这类体积型可变形物体难以建模：学习得到的动力学模型需要大量样本，且在接触方面存在较大的仿真到现实差距，因此早期的黏土研究使用离散的、针对特定任务的动作，并在动作之间可以清楚地看到物体。在陶轮上，黏土在接触下连续变形，并且部分被机器人手指遮挡，因此这两种做法都不适用。

提出的方法

RoPotter 利用制陶任务的结构先验。由于陶轮使黏土呈径向对称，RoPotter-2D 用一个截面来表示黏土，该截面由距离一个穿过其质心的平面 5 mm 以内的点组成；而 RoPotter-Mesh 则对初始截面拟合一个网格，把顶点推出手指之外，把可见顶点移动到观测点上，并应用尽可能刚性（As-Rigid-As-Possible，ARAP）变形来估计被遮挡的黏土。一个基于 3D Diffusion Policy（DP3）构建、带有 2D 编码器变体的扩散策略，在这些由遥操作演示得到的状态上进行训练。

关键见解

• 陶轮上的径向对称性使 3D 黏土状态可以简化为 2D 截面，同时仍能刻画直径、高度和壁厚。
• 处理手指接触并用 ARAP 施加局部刚性，可以恢复被手指遮挡的黏土；加入 ARAP 步骤使 Chamfer 距离降低了 66.3%。
• 由于开口直径取决于黏土质量，策略必须根据观测到的状态调整拉壁阶段；DP3 基线的适应性最差，黏土多时碗做得太高，黏土少时又太矮。
• 演示中的碗本身就有约 2.0 mm 的差异，这限定了任何策略在 Chamfer 距离上与其吻合的程度。

主要结果

• 在使用 250 g 黏土的宽碗任务上，RoPotter-Mesh 的最终形状误差比 DP3 基线低 44.4%（Chamfer 距离 2.75 mm 对 4.95 mm）。
• 网格重建消融（截面 / 完整点云上的 Chamfer 距离）：完整方法 1.50 / 2.58 mm；去掉 ARAP 为 4.45 / 7.74 mm；去掉接触处理为 15.41 / 17.01 mm；观测参考为 0.0 / 2.46 mm。
• 在所有使用 250 g 或 350 g 黏土的任务中，两种所提策略与演示碗之间的 Chamfer 距离分布都低于基线。
• DP3 只在使用 350 g 黏土的高碗上表现最好（1.96 mm），此时 RoPotter-2D 也保持在 2.0 mm 以下（1.99 mm）；DP3 在使用 300 g 黏土的一次高碗试验中失败。
• 各方法与演示碗之间的 CLIP 相似度在 0.940 到 0.974 之间，与几何指标一致。

局限

• 作者表示，RoPotter-Mesh 依赖于初始化良好的网格以及一致且观测准确的机器人动作，这些假设在其受控的结构化设置中成立，但并不普遍成立。
• 策略不是目标条件化的；每种碗形都从各自的演示中学习，定义有用的目标表示留待未来工作。
• 该任务没有明确的成功标准，作者指出 Chamfer 距离会受到离群点的影响，并会平均掉高频特征。
• 该方法假设径向对称和准静态黏土，忽略了动态效应。
• RoPotter-Mesh 的策略结果只报告了宽碗；高碗的比较只涵盖 DP3 和 RoPotter-2D。

对领域的影响

入围 Humanoids 2024 最佳口头报告奖决选，被引用 11 次。作者在 robot-pottery.github.io 提供了补充材料、实验数据和可视化结果。

摘要

人类能够连续地操纵各种各样的可变形物体，将其塑造成复杂的形状。这得益于我们对物体材料属性和力学的直觉理解，使我们即使在视觉感知被遮挡时也能推断物体状态。这些能力让我们能够完成从用面团烹饪到通过制陶表达自我等各种任务。然而，开发能够稳健执行类似任务的机器人系统仍然充满挑战，因为现有方法难以有效建模体积型可变形物体，也难以推理它们通常表现出的复杂行为。为研究能够使体积型物体变形的机器人系统和算法，我们引入了一项新颖的机器人任务：在陶轮上连续地使黏土变形。我们提出了一个用于感知和制陶技能学习的流程，称为 RoPotter，并证明可以利用制陶任务特有的结构先验来简化制陶技能的学习过程。也就是说，我们可以把黏土的截面投影到一个平面上来表示黏土的状态，从而降低维度。我们还展示了一种基于网格的被遮挡黏土状态恢复方法，以期实现能够连续使黏土变形的机器人智能体。实验表明，通过使用基于黏土变形行为的结构先验的降维表示，RoPotter 能够完成长时程制陶任务，其最终形状误差比最先进的基线低 44.4%。

链接

• arXiv 2408.02184: https://arxiv.org/abs/2408.02184
• DOI 10.1109/Humanoids58906.2024.10769600: https://doi.org/10.1109/Humanoids58906.2024.10769600
• PDF: https://arxiv.org/pdf/2408.02184v1
• 项目主页: https://robot-pottery.github.io/