SORNet: Spatial Object-Centric Representations for Sequential Manipulation

作者: Wentao Yuan, Chris Paxton, Karthik Desingh, Dieter Fox · CoRL 2021

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

SORNet 在给定一个物体的规范视图后，对 RGB 图像中的每个物体进行嵌入；小型读出 MLP 将这些嵌入转换为未见过物体的技能前置条件和 3D 方向。

为何重要

预测出的谓词被提供给一个符号化的任务与运动规划器，因此同一个网络无需重新训练或微调即可服务于新任务和新物体。作者用从真实机器人相机图像中预测的谓词填充规划器的状态，以进行开环执行，并将方向预测用于朝向目标物体的视觉伺服。

问题

序列操作需要知道物体之间哪些空间关系成立，例如某个方块的顶部是否空着，规划器才能选择下一个技能。显式状态估计器难以推广到任意的物体组合，尤其是相互接触的物体；而端到端网络则始终与其训练任务绑定：一个被训练来堆叠方块的网络无法简单地把它们拆开。

提出的方法

SORNet 是一个 Vision Transformer，它以场景的 RGB 上下文图像块以及感兴趣物体的规范视图作为查询 token，注意力被屏蔽，使查询只从场景中读取，并为每个查询物体输出一个嵌入。两层 MLP 读出网络将单个或成对的嵌入映射为一元和二元谓词或连续的 3D 方向，其参数与物体数量无关；训练使用 Leonardo，这是一个新的仿真数据集，内容为 Franka Panda 堆叠方块，带有真值谓词标签。

关键见解

• 以规范的物体视图为条件（这些视图不必与物体在场景中的外观一致），使模型无需重新训练就能在光照、位姿和遮挡变化下挑出未见过的物体。
• 屏蔽查询 token 之间的注意力以及从上下文图像块到查询的注意力，使输出具有置换等变性，因此推理时可以查询任意数量的物体。
• 仅用逻辑谓词标签训练的嵌入仍携带连续的空间信息：在冻结嵌入上训练的回归器预测 3D 方向的效果优于用位姿监督训练的基线。
• 没有物体条件的基线在未见过的物体上零样本失败，即使经过 100-shot 微调后仍远远落后。
• 聚合三个相机视角有助于应对遮挡，加入夹爪状态则改善了与夹爪相关的谓词，例如 has-object。

主要结果

• CLEVR-CoGenT 零样本关系准确率：valA 上 99.006%，valB 上 98.222%，MDETR 为 84.950% / 59.627%，在训练中见过所有物体的 MDETR-oracle 为 97.944% / 98.052%。
• Leonardo 未见物体上的谓词分类（52 个谓词）：SORNet M-View (G) 达到 98.9% 的准确率、63.6% 的全匹配准确率和 89.5 的 F1；最佳的 100-shot 基线为 92.8%、4.1% 和 0.0。
• 含 5 个和 6 个物体的场景（在 4 个物体上训练）：准确率为 98.5% 和 98.0%，随着谓词增加到 70 和 102 个，全匹配准确率降至 45.5% 和 29.7%。
• 30 张真实世界机器人图像：准确率 96.3%，全匹配准确率 26.7%，F1 为 76.5。
• 技能可执行性准确率：SORNet M-View (G) 为 76.3%，ResNet18 和 ViT 基线约为 27%，后者在 grasp、align、place 和 lift 上得分为 0%。
• 相对 3D 方向回归（单位向量上的欧氏误差，1000 个训练样本）：SORNet（预训练、多视角）物体-物体为 0.1458，末端执行器-物体为 0.1777，ResNet18 为 0.4308 / 0.3251，预训练的 CLIP-ViT 为 0.6145 / 0.4960。

局限

• 读出网络只处理一元和二元关系；涉及两个以上物体的关系留待未来工作。
• 空间关系从单帧 RGB 图像预测；没有涉及时间推理。
• 在真实图像上，模型在训练中从未见过的情形下会出错，例如一个方块叠在两个方块之间，在 30 张真实图像上的全匹配准确率为 26.7%。
• 随着物体增加，全匹配准确率下降（6 个物体时为 29.7%），因为二元谓词的数量呈二次增长。
• 训练数据只涵盖单一任务，即堆叠 4 个方块；真实机器人规划演示以开环方式运行，且只在补充视频中展示。

对领域的影响

入围 CoRL 2021 最佳系统论文奖，82 次引用。论文贡献了 Leonardo 数据集，其中的 RGB 观测带有空间谓词标签，官方项目页面链接了代码（github.com/wentaoyuan/sornet）。

摘要

序列操作任务要求机器人感知环境状态，并规划一系列通往期望目标状态的动作，其中从原始传感器输入推理物体实体之间空间关系的能力至关重要。依赖显式状态估计或端到端学习的先前工作难以应对新物体或新任务。在这项工作中，我们提出了 SORNet（Spatial Object-Centric Representation Network，空间以物体为中心的表示网络），它以感兴趣物体的规范视图为条件，从 RGB 图像中提取以物体为中心的表示。我们表明，SORNet 学到的物体嵌入能够在三个空间推理任务上零样本泛化到未见过的物体实体：空间关系分类、技能前置条件分类和相对方向回归，并显著优于基线。此外，我们展示了真实世界的机器人实验，演示了学到的物体嵌入在序列操作任务规划中的用法。

链接

• arXiv 2109.03891: https://arxiv.org/abs/2109.03891
• DOI 10.48550/arXiv.2109.03891: https://doi.org/10.48550/arXiv.2109.03891
• PDF: https://proceedings.mlr.press/v164/yuan22a/yuan22a.pdf
• 代码: https://github.com/wentaoyuan/sornet
• 项目主页: https://wentaoyuan.github.io/sornet