Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

作者: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

识别机器人以前处理过的物体并复用其部分 TSDF 模型：成功率从 85% 升至 98%，所需的换手和重新扫描也更少。

为何重要

反复看到相同物品的机器人（如在仓库或厨房中）可以利用先前的接触来缩小形状不确定性，而不必从零开始。论文表明，这降低了将物体放入受约束区域所需的额外操作步骤数。

问题

面向没有已知 3D 模型的物体的拾取放置系统，通常把每个物体都当作新物体，即使同一物体以前已被处理过。为了放入狭小空间，它们必须为未见部分假设一个保守的体积，这迫使机器人进行额外的换手和主动感知动作，有时甚至根本找不到安全的抓取。

提出的方法

每个被操作的物体都以一个 1 mm 截断有符号距离场（TSDF）体积，加上来自不同视点的 64 个 ResNet50 颜色特征簇的形式存储。新物体按余弦距离与数据集匹配，随后 GPU 粒子滤波器配准存储的部分模型，并剔除位于已观测自由空间中或桌面以下的位姿。同一个粒子滤波器在手中跟踪物体，同时将新的深度视图融合进其模型。

关键见解

占据栅格模型的精度不足以跨任务复用；1 mm 的 TSDF 体积则可以
剔除那些会把模型置于已观测自由空间中或支撑平面之下的位姿假设，在唯一一次错误识别导致任务失败之前就将其排除
用来自多个视点的特征簇而不是单一平均特征来表示物体，在所选阈值下将召回率从 0.211 提高到 0.886
假阴性只会损失效率，因为物体会被当作新物体处理，而假阳性可能导致任务失败，因此阈值按高精确率设定
只渲染感兴趣区域，使粒子滤波器的迭代时间比先前的全图像方法减半

主要结果

任务成功 54/55（98%），而将每个物体都视为新物体的基线为 47/55（85%）
20/55 个任务（36%）中有换手动作，基线为 37/55（67%）
8/55 个任务（14%）中有主动感知动作，基线为 35/55（63%）
配准存储的模型使保守的形状不确定性体积平均减少 32%，最多减少 75%
在 49/55 次实验中正确识别物体，有 5 次假阴性和 1 次被位姿估计排除的假阳性
所有四个物体的重建模型与真值的 Chamfer 距离均在 5 mm 以内；位姿估计每次迭代约 30 ms，而先前方法使用 625 个粒子时约 60 ms

局限

作者指出 TSDF 表示不适合薄结构，因此碗之类的物体难以重建和跟踪
杂乱场景留待未来工作；每个任务只包含单个分离的物体
当物体被严重遮挡时，重建模型会包含由跟踪误差产生的带噪内部点
每个系统在 55 个任务中对四个物体进行评估；当物体的可见部分以前未被看到过时，会出现假阴性

对领域的影响

入围 ICRA 2022 杰出操作论文奖决选，被引用 17 次。作者称，基于粒子滤波器的位姿估计器已作为 6DoF 位姿标注工具在 GitHub 上开源。

摘要

本研究提出一种机器人流程，用于在没有几何形状先验的情况下拾取物体并将其放置到受约束的位置。与近期针对类似任务、假设每个物体都是新物体的工作相比，所提出的系统能识别以前操作过的物体，并进行在线模型重建与复用。在终身操作过程中，系统持续学习其交互过的物体的特征，并更新其重建模型。每当以前操作过的物体的一个实例再次出现时，系统会先识别它，再根据当前观测配准其先前重建的模型。这一步大大降低了物体形状的不确定性，使系统甚至能够对物体当前不可观测的部分进行推理。由于减少了操作过程中对目标物体进行主动感知的需要，这也带来了更高的操作效率。为了得到可复用的重建模型，所提出的流程采用：i) TSDF 作为物体表示，ii) 标准粒子滤波器算法的一个变体，用于部分物体模型的位姿估计和跟踪。此外，还提出了一种构建和维护已操作物体数据集的有效方法。一系列真实世界操作实验表明，通过复用以前操作过的物体的、即时生成的重建模型，而不是每次都把物体当作新物体，未来的操作任务会变得更有效、更高效。

链接

arXiv 2109.13910: https://arxiv.org/abs/2109.13910
DOI 10.48550/arXiv.2109.13910: https://doi.org/10.48550/arXiv.2109.13910
PDF: https://arxiv.org/pdf/2109.13910v1