FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects

作者: Ben Eisner, Harry Zhang, David Held · RSS 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个网络预测铰接物体的每个点将如何运动；机器人抓取运动最大的点并沿其运动方向移动，在没有任何真实训练数据的情况下达到 64% 的真实世界成功率。

为何重要

这种表示不需要了解物体的运动学树，因此一个仅用仿真点云训练的模型就能打开从未见过的类别中的物体，并且无需微调即可迁移到真实的 Sawyer 机械臂上。对实践者而言，它把感知（部件在哪里、如何运动）与一条简单的解析控制规则分开，使策略保持闭环且易于检查。

问题

家庭中的机器人必须打开门、抽屉、盖子以及类似的铰接物体，而这些物体的几何形状和运动学在类别内部和类别之间差异很大。估计关节轴等铰接参数的方法通常依赖于针对特定类别的物体结构知识，因此无法应用于新类别。

提出的方法

作者定义了 3D 铰接流（3D Articulation Flow）：对于点云中的每个点，即其所在部件被稍微打开时该点将移动的归一化方向。ArtFlowNet 是一个基于 PointNet++ 的网络，在仿真的 PartNet-Mobility 物体上通过监督学习训练，从单个点云中预测该流。随后，FlowBot3D 使用吸盘夹爪抓取预测流最大的点（需通过边缘和曲率过滤），并反复重新预测流，沿接触点附近最大的可见流向量移动夹爪，直到部件被打开。

关键见解

• 对于移动关节，任意点上的最佳拉动方向都沿关节轴线；对于转动关节，最佳方向是离轴线最远的点处的切向，因此铰接流最大的点就是理想的抓取点。
• 逐点流不依赖层级结构，且被限定在单位球内，因此对平移和缩放具有不变性，无需特定类别的运动学模型即可学习。
• 即使输入真值流，行为克隆和 DAgger 策略的表现也很差，而解析的流跟随策略表现良好。
• 仿真中渲染的点云与真实深度数据之间的域差距很小，作者认为这是能够直接实现仿真到现实迁移的原因；训练中的视角增强有助于迁移，但在仿真中几乎没有改变结果。

主要结果

• 仿真（ManiSkill 与 PartNet-Mobility，成功定义为超过运动范围的 90%）：FlowBot3D 在训练类别的未见实例上平均成功率为 0.77，在 10 个未见类别上为 0.69；使用真值流的 oracle 分别达到 0.92 和 0.82。
• 最好的行为克隆基线（DAgger Oracle + F）在训练类别上成功率为 0.33，在未见类别上为 0.16；UMPNet 式基线分别为 0.52 和 0.45。
• 到打开状态的平均归一化距离：FlowBot3D 为 0.12（训练类别）和 0.15（未见类别），UMPNet 式基线为 0.29 和 0.36。
• 真实世界，14 个家居物体、在 Sawyer 机械臂上进行 70 次试验：总体成功 45/70（64.3%），接触成功 64/70（91.4%），接触后运动成功 45/64（70.3%）。
• 使用相同接触点选择的真实世界 DAgger 基线在 10/70 次试验中成功（14.3%），平均距离为 0.73，而 FlowBot3D 为 0.22。

局限

• 大多数真实世界失败来自流预测错误，通常发生在机器人遮挡了场景的大部分或未能检测到铰接时（例如真实的烤箱），以及在无法形成密封的点上吸盘接触失败。
• 作者指出，需要更柔顺的机械臂控制器和更强的接触质量预测模块来消除许多失败模式；在线纠正错误预测留待未来工作。
• 该方法适用于具有 1-DoF 转动或移动关节且底座固定的物体；球窝关节、自由漂浮物体和可变形物体不在范围内。
• 真实的吸盘夹爪无法在边缘、把手或高曲率处形成密封，因此抓取点通过手动调节的边缘、曲率和距离启发式规则来选择，而不是理想的最大流点。
• 真实测试物体必须能放入工作空间，具有适合吸附的表面，并且对深度相机来说不能太暗或反光太强。

对领域的影响

该论文入围了 RSS 2022 最佳论文奖决选，被引用 168 次。作者通过项目网站发布了代码、数据和补充材料。

摘要

我们探索了一种感知和操作 3D 铰接物体的新方法，该方法具有泛化能力，使机器人能够操作未见过的物体类别。我们提出了一个基于视觉的系统，它学习预测各种铰接物体各部件的潜在运动，以指导系统下游的运动规划来操作这些物体。为了预测物体运动，我们训练一个神经网络输出一个稠密向量场，表示点云中各点在铰接运动下的逐点运动方向。然后，我们部署一个基于该向量场的解析运动规划器，得到一个能产生最大铰接运动的策略。我们完全在仿真中训练该视觉系统，并在仿真和真实世界中展示了系统泛化到未见过的物体实例和新类别的能力，将策略部署在 Sawyer 机器人上而无需任何微调。结果表明，我们的系统在仿真和真实世界实验中都达到了最先进的性能。

链接

• arXiv 2205.04382: https://arxiv.org/abs/2205.04382
• DOI 10.48550/arXiv.2205.04382: https://doi.org/10.48550/arXiv.2205.04382
• PDF: https://arxiv.org/pdf/2205.04382v1
• 代码: https://github.com/r-pad/flowbot3d
• 项目主页: https://sites.google.com/view/articulated-flowbot-3d/home