Reactive Human-To-Robot Handovers of Arbitrary Objects

作者: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

分割出手，抓取剩下的部分：一套基于视觉的系统让 Franka Panda 从人手中接过 26 种不同的家用物品，并在物体移动时重新规划。

为何重要

物体不必属于预训练检测器的类别，作者指出这是最接近的先前工作的主要瓶颈。闭环使机器人能够跟随人在机器人开始运动后才转动的物体，而这正是该先前工作所报告的大多数失败的原因。

问题

辅助机器人必须从人手中接过多种物体，但大多数交接研究只使用了单个物体，所调研的论文中只有一篇使用了超过六个物体。从手中接过物体不同于抓取静止物体：物体可能移动，部分被手指遮挡，限制了接近方向，而且机器人的运动必须让人感到安全。

提出的方法

系统在用 Azure Kinect Body Tracking SDK 跟踪的手周围裁剪点云，用在自动生成掩码上训练、以 ResNet-50 为骨干的 Feature Pyramid Network 在 RGB 图像中分割手，并将剩余的点标记为物体。6-DOF GraspNet 提出抓取，这些抓取借助其抓取评估器通过 Metropolis-Hastings 采样逐帧细化，与手发生碰撞的抓取被剔除，再由结合 Riemannian Motion Policies 的 Robust Logical Dynamical Systems 任务模型选择并执行接近位姿。

关键见解

手部分割是一个定义明确的任务；先分割手，再将裁剪后剩余的点标记为物体，就无需直接分割未见过的物体。
手部的训练掩码无需人工标注者即可生成：从点云中裁剪出被跟踪的裸手，并将其投影到图像中。
用抓取评估器细化上一帧的抓取，可在不重新训练 GraspNet 的情况下保持抓取随时间一致；当快速的手部运动后保留下来的抓取过少时，会重新采样抓取。
按与上一个最佳抓取以及与初始位姿的距离为接近位姿打分，可在跟踪人的同时保持运动平顺。
将每个抓取绕其 Z 轴旋转 180°，可使双指夹爪的候选抓取数量翻倍。

主要结果

手部分割模型在以相同方式采集的验证集上达到 99.7% 的像素精度、99.5% 的频率加权 IoU 和 68.0% 的平均 IoU。
用香蕉、玩具蛋黄酱瓶和玩具麦片盒进行的系统测试，物体分别平放、倾斜 45° 和 90° 握持：总体每次交接 11.39 ± 4.29 s，成功率 90%；香蕉 100%，瓶子 90%，麦片盒 82%。
机器人开始运动后物体被旋转：0–45° 时成功率 100%，用时 11.81 ± 3.93 s；0–90° 时成功率 69%，用时 15.41 ± 7.39 s。
6 名参与者交接 10 种物体的用户研究：平均接近时间 10.7 ± 3.6 s，1.3 ± 0.3 次尝试，成功率 81.8%；笔（50.0%）、马克杯（54.5%）和勺子（66.7%）最低。
正文（第 V-A、V-B 和 VI-B 节）称每个物体最终都被接过，在系统测试中均在三次或更少尝试内完成，而表 I 和表 II 列出若干物体的成功率低于 100%。
问卷评分在每个维度上都在 4 左右或以上，参与者之间的方差较小。

局限

失败来源于深色表面上的深度缺失、分割网络将物体标记为手，以及附近物体给裁剪点云带来的噪声（作者自述）。
逆运动学的计算开销限制了机器人更新目标抓取的速度；参与者希望运动更快、更流畅（作者自述）。
由于疫情安全规定，用户研究只有六名参与者，全部从实验室招募（作者自述）。
人必须以让机器人仍能抓取的方式握持物体。
系统评估使用一名用户和三种物体，交接反复进行，直到机器人成功三次为止。

对领域的影响

它获得了 IEEE ICRA 2021 人机交互（HRI）最佳论文奖，被引用 99 次。论文链接了一个包含更多结果和视频的项目页面；论文未说明是否发布代码或数据集。

摘要

过去十年来，人机物体交接一直是机器人学中被积极研究的领域；然而，很少有技术和系统应对过交接外观、尺寸、形状和刚度任意的多样物体这一挑战。本文提出一种基于视觉的系统，可实现对未知物体的反应式人到机器人交接。我们的方法将闭环运动规划与实时、时间一致的抓取生成相结合，以确保反应性和运动平顺性。我们的系统对物体的不同位置和朝向具有鲁棒性，并能抓取刚性和非刚性物体。我们在一个由 26 种多样家用物品组成的新基准集上、在一项由新手用户（N=6）交接其中 15 种物品的用户研究中，以及在一项考察不同交接方式的系统评估中，展示了该方法的泛化性、可用性和鲁棒性。更多结果和视频见 https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects 。

链接

arXiv 2011.08961: https://arxiv.org/abs/2011.08961
DOI 10.1109/ICRA48506.2021.9561170: https://doi.org/10.1109/ICRA48506.2021.9561170
PDF: https://arxiv.org/pdf/2011.08961v1
项目主页: https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects