MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback

作者: Andrea Sipos, Nima Fazeli · RSS 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

两条机械臂让各自抓持的物体相互轻触数次；根据接触、力以及跨动作一致性打分的粒子滤波器，可将两个手中位姿恢复到约 0.5 cm。

为何重要

该方法既不需要相机，也不需要高分辨率触觉皮肤，只需要 Franka Emika Panda 等协作机器人本身已提供的关节感知和力旋量估计，或一个现成的腕部力/力矩传感器。这使得在遮挡环境中、在常见硬件上也能进行手中位姿校正。

问题

被抓持物体的位姿误差会在工具使用和装配中导致滑动、意外接触和卡死。基于视觉的估计器在遮挡下会失效，而遮挡在精细装配和狭窄空间中很常见；高分辨率触觉传感器成本高、容易疲劳，而且难以建模。单次接触（如作者早先的 SCOPE 方法）往往会使位姿留有歧义。

提出的方法

MultiSCOPE 扩展了 SCOPE（它将接触粒子滤波器 CPFGrasp 与物体位姿粒子滤波器配对使用），从单次接触扩展到由两条机械臂所持的两个物体之间的一系列戳碰，仅使用本体感知和 6 轴腕部力旋量。它增加了一个工具分割步骤（先对表面法向量做 K-Means，再做 DBSCAN），使每个面都能获得接触粒子；一个力旋量损失，偏向那些其接触能够解释测得腕部力旋量的位姿；以及一个记忆损失，用由先前动作构建的接触点云对位姿打分，并在某个先前动作被证明不一致时进行“记忆丢弃”（memory dropout）。

关键见解

组合多个接触动作可以消除单个动作留下的歧义：一次戳碰可能约束一个方向，第二次戳碰约束另一个方向
按分割出的每个面采样接触粒子，而不是在整个表面上均匀采样，可以避免遗漏面积小但功能重要的面，并减少所需的粒子数量
要求估计的接触能复现测得的腕部力旋量（力旋量损失），是消融实验中作用最强的单项损失
机器人之间的标定误差很重要：在不标定的情况下，作者观察到两条机械臂之间有 1–1.5 cm 的 RMS 误差，使用基于 ICP 的流程后降至 3–7 mm

主要结果

仿真，扳手工具，10 次试验，每次 5 个动作：工具位姿误差为 0.47 ± 0.27 cm 和 −0.76 ± 2.01°，探针位姿误差为 0.49 ± 0.28 cm 和 −2.67 ± 4.76°；10 次紧公差的扳手套螺丝任务中有 8 次成功
完整方法的损失消融运行（表 I，5 次试验）报告的工具误差为 0.48 ± 0.16 cm，任务成功率为 100%，而 10 次试验的运行（正文和表 II）报告为 0.47 ± 0.27 cm 和 80%；这是两组不同的试验
仅用单个动作时，平均工具平移误差为 1.08 cm，任务成功率为 40%，而完整的多动作方法为 0.47 cm 和 80%（表 II）
力/力矩噪声为信号幅值的 5% 时：工具误差为 0.52 ± 0.31 cm，5 个任务中完成 4 个；噪声为 8% 时没有任务成功（工具误差 1.13 ± 0.33 cm）
仿真中六角扳手、棘爪和齿轮工具的工具平移误差分别为 0.31、0.33 和 0.49 cm（各 10 次试验）
真实硬件，扳手工具，4 个动作：5 次任务试验中 5 次成功（使用圆柱体目标，每侧公差 3.5 mm）

局限

作者将动作选择列为未来工作：戳碰动作是手动选择的，需要更有原则的选择方法来减少动作数量
该方法假设物体为刚体且几何模型已知，接触为不传递力矩的点接触，并且戳碰过程中没有相对滑动
没有对本体感知噪声建模；作者发现两条真实机械臂之间很难相互标定（标定后 RMS 为 3–7 mm）
精度随力/力矩噪声下降：在 8% 的噪声下，没有一次基于任务的演示成功
由于平行夹爪的约束，位姿在 SE(2) 中估计，并且真实世界测试只用了一个工具，并以圆柱体代替螺丝头

对领域的影响

入围 RSS 2023 最佳学生论文奖决选，被引用 14 次。论文指向 www.mmintlab.com/multiscope/ 获取代码和视频；该页面链接到代码仓库。

摘要

在本文中，我们提出了一种利用双臂机器人系统的本体感知和触觉反馈来估计手中物体位姿的方法。我们的方法旨在通过被抓持物体之间的一系列摩擦接触交互来降低位姿不确定性。作为方法的一部分，我们提出了 1) 一种工具分割流程，便于进行接触位置和物体位姿估计；2) 一种损失，使得可以对多次交互之间解的一致性进行推理；以及 3) 一种损失，促使收敛到能够解释每条机械臂所受外部力/力矩的物体位姿和接触位置。我们在仿真和真实世界双臂平台上，通过基于任务的演示证明了该方法的有效性，并表明其物体位姿估计相较单次交互有显著提升。代码和视频请访问 www.mmintlab.com/multiscope/。

链接

arXiv 2305.14204: https://arxiv.org/abs/2305.14204
DOI 10.48550/arXiv.2305.14204: https://doi.org/10.48550/arXiv.2305.14204
PDF: https://arxiv.org/pdf/2305.14204v1
代码: https://github.com/MMintLab/multiscope
项目主页: https://www.mmintlab.com/multiscope/