You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

作者: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

仅在仿真中训练的规范形状空间将一段演示视频映射到新物体上；带跟踪的闭环克隆在电池竖立上达到 100%，在 0.5 mm 齿轮插装上达到 82.9%。

为何重要

一项新的装配技能只需一段视频加上训练实例的 CAD 模型即可教会，无需真实世界训练数据或关键点标注，并且可以迁移到从零售商处购买的新实例上。有无跟踪的对比表明，闭环的物体位姿反馈在紧公差插装中有多重要。

问题

在物体实例之间迁移技能的类别级操作方法，通常需要人工指定的语义关键点和代价高昂的真实世界数据采集，并且把被抓取的物体视为固定在夹爪上、以开环方式执行。这在长时域、接触丰富的任务中会失效，例如顶着弹簧插入电池，此时中间动作序列很重要，而且物体会在手中移动。

提出的方法

一个仅在合成 Blender 数据上训练的 NUNOCS Net（一种类似 PointNet 的网络）将部分点云映射到具有 3D 非均匀缩放的类别级规范空间，从而在演示物体与新物体之间建立稠密对应。一段 RGBD 演示视频由无模型的 BundleTrack 6 DoF 跟踪器解析为物体相对于承接件的位姿轨迹，重投影到新物体上，并以如下方式执行：先通过 RRT* 无碰撞地移动到距承接件 5 cm 的关键位姿，再进行类别级行为克隆（CatBC）。CatBC 以基于雅可比矩阵的关节更新和 10 Hz 的跟踪器反馈跟随目标轨迹，并锚定在由局部注意力机制选出的坐标系上。

关键见解

• 将演示表达为物体相对于承接件的位姿轨迹，使技能与演示者（人手或遥操作机器人）以及场景布局相分离。
• 手中物体的闭环跟踪在接触丰富的任务中最为重要：开启跟踪后，电池装配的成功率从 37.78% 升至 82.22%，最宽松公差下的齿轮插装从 42.9% 升至 100%。
• 来自在仿真中训练的规范空间的稠密 3D 对应，比在真实数据上训练的 2D 稠密描述子（DON）或语义关键点（KPAM、KPAM 2.0）更精确；即使没有跟踪，它也胜过所有基线。
• 将执行拆分为无碰撞搬运和最后一英寸克隆，使机器人能够应对演示中未出现的障碍物，并只复现视频中决定成败的那一部分。
• 通过重新演示可以教授不同的策略：锚定加枢转（anchor-and-pivot）的演示比单纯自上而下插入获得了更高的齿轮插装成功率。

主要结果

• 电池竖立（9 个测试电池，每个 5 次试验）：完整方法 100%，无跟踪 80.0%，基线最高 60.0%（采用基于演示的克隆的 KPAM 2.0）。
• 顶着弹簧的电池装配：完整方法 82.22%，无跟踪 37.78%，基线最高 24.44%，不带克隆的 KPAM、KPAM 2.0 和 DON 为 0%。
• 齿轮插装（7 个测试齿轮）：5 mm 公差下 100%（其中一个齿轮为 3 mm），0.5 mm 下 82.9%，0.1 mm 下 28.6%；最佳基线在 5 mm 下达到 31.4%，全部六个基线在 0.5 mm 下得分为 0%，无跟踪变体在 0.5 mm 下为 5.7%。
• 在该方法和 7 个基线上共进行了 1,560 次真实世界试验；跟踪器以 10 Hz 的相机帧率运行。
• NUNOCS Net 每个类别使用 100,000 个合成数据点，而 KPAM 和 KPAM 2.0 基线每个类别在 90,000 到 98,340 个带关键点标注的真实世界数据点上训练。

局限

• 视觉是唯一的感知模态；作者预计力觉或触觉感知能提高高精度任务中的准确性。
• 只处理刚体；铰接物体或可变形物体（例如线缆）需要其他类别级表示。
• 报告的失败模式：在电池装配中，弹簧力可能把电池推出夹爪；在锚定加枢转的齿轮插装中，齿轮可能在手中转动，直到不存在无碰撞的逆运动学解。
• 在 0.1 mm 的齿轮-轴公差下，成功率降至 28.6%。
• 该方法假设抓取不会妨碍任务（抓取规划不在其范围内），承接件由几何基元构建，并用 RANSAC 定位。

对领域的影响

入围 RSS 2022 最佳论文奖，被引用 145 次。论文没有说明会发布其自身的代码或数据。

摘要

最近，在可跨物体实例泛化的类别级操作方面取得了有前景的成果。然而，它通常需要昂贵的真实世界数据采集，以及为每个物体类别和任务人工指定语义关键点。此外，粗糙的关键点预测和对中间动作序列的忽视，阻碍了其在抓取放置之外的复杂操作任务中的应用。本工作提出了一个新颖的类别级操作框架，它利用以物体为中心的类别级表示和无模型的 6 DoF 运动跟踪。规范物体表示仅在仿真中学习，然后用于从单个演示视频中解析出类别级的任务轨迹。演示通过规范表示被重投影为针对新物体定制的目标轨迹。在执行过程中，操作时域被分解为长距离的无碰撞运动和最后一英寸（last-inch）操作。对于后一部分，一种类别级行为克隆（CatBC）方法利用运动跟踪进行闭环控制。CatBC 跟随从演示投影而来、并锚定在一个动态选择的类别级坐标系上的目标轨迹。该坐标系由一个局部注意力机制沿操作时域自动选择。该框架只需提供单个演示即可教授不同的操作策略，无需复杂的人工编程。大量实验证明了它在一系列具有挑战性的高精度装配工业任务中的有效性，这些任务涉及学习复杂的长时域策略。该过程表现出对动力学引起的不确定性的鲁棒性，以及跨物体实例和场景配置的泛化能力。

链接

• arXiv 2201.12716: https://arxiv.org/abs/2201.12716
• DOI 10.48550/arXiv.2201.12716: https://doi.org/10.48550/arXiv.2201.12716
• PDF: https://arxiv.org/pdf/2201.12716v1