Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

作者: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

构建场景的 LERF，用 DINO 特征为指定的物体生成掩码，只在该掩码内查询部件名称，并对 GraspNet 的抓取重新排序，使机器人抓住指定的部件。

为何重要

该方法不需要部件标签、可供性数据集、演示或微调，并且由于以零样本方式使用 CLIP，它能处理“ethernet dongle”（以太网转接头）、“cork”（软木塞）或“martini glass”（马提尼酒杯）等长尾查询。部件查询是纯文本，因此语言模型可以根据“cut the steak”（切牛排）这样的任务描述给出物体和部件。

问题

许多物体必须按特定部件抓取，例如刀要抓刀柄、太阳镜要抓镜框，但基于学习的抓取规划器大多只考虑几何，并以物体是否被提起来判断成功。早期的任务导向抓取方法要收集物体部件或可供性数据集，难以扩展到大量物体。LERF 本身只会突出物体最具辨识度的区域，而 CLIP 表现得像词袋模型，因此“mug”和“mug handle”激活的区域几乎相同。

提出的方法

腕部相机沿半球形路径拍摄约 60 张图像，并在约 78 秒内训练一个语言嵌入辐射场（将 CLIP 和 DINO 特征蒸馏到 NeRF 中，基于 Nerfstudio 的 Nerfacto 构建）。物体查询定位物体，通过对 DINO 特征相似度进行泛洪填充生长出 3D 物体掩码，并且只在该掩码内的点上评估部件查询（条件 LERF 查询）。由一个半球上的虚拟相机生成的 GraspNet 抓取按 0.95 × 语义分数（抓取体积内部件相关性的中位数）+ 0.05 × GraspNet 置信度进行排序。

关键见解

• 来自 DINO 特征的 3D 物体掩码提供了 LERF 的 CLIP 相关性所缺少的物体分组，因此部件查询能覆盖整个物体，包括长条形物体。
• 将部件查询限制在物体掩码内（条件查询），可以抵消 CLIP 的词袋行为。
• 语义分数必须在排序中占主导（权重 0.95）：物体掩码上几何置信度最高的抓取只有 18% 的情况落在正确部件上。
• 多尺度 CLIP 特征对部件很重要：每个点只有一个 CLIP 嵌入的 ConceptFusion 选对物体的频率大致相同，但选对部件的频率要低得多。
• 主要的失败模式是外观相似的部件（茶壶的壶嘴与把手）、细小的几何结构（茶杯把手、喷壶扳机）、相近的类别（牛排刀与面包刀）以及提示措辞（“bottle neck”比“neck”定位得更好）。

主要结果

• 使用人工编写查询的部件导向抓取（49 个提示，12 个场景，表 1）：物体正确 96%，部件正确 82%，通过正确部件成功提起 69%。摘要和结论给出的部件正确率为 81%。
• 实物数量在摘要和第 5 节中给出为 31 个，在引言和任务导向结果中给出为 39 个。
• 使用 NeRF 深度的 ConceptFusion：物体正确 77%，部件正确 39%（没有实物试验）；在 20 个提示和 5 个场景上的单视角基线：Semantic Abstraction 物体 80% / 部件 35%，OWL-ViT 物体 85% / 部件 50%。
• 由 ChatGPT 根据任务描述选择物体和部件时（对七个回答进行多数投票），表 3 报告物体正确 96%，部件正确 71%；结果部分的正文给出选择正确基元的比例为 92%，并将 71% 表述为物体正确的成功率。
• 耗时：场景采集 30 s，LERF 训练到 2k 步 78 s，LERF-TOGO 查询 10 s，采集期间的预处理分布在三块 NVIDIA 4090 GPU 上。

局限

• 作者表示，端到端流程需要几分钟，对于时间敏感的应用可能不切实际。
• 相互连接的前景物体组会被 DINO 泛洪填充掩码合并，而不是被分开（作者指出）。
• 如果物体查询匹配到多个物体，例如完全相同的杯子或泛指的“mug”，系统会任意选择其中一个（作者指出）。
• 无法处理指代性或比较性的表达，例如“mug next to the plate”（盘子旁边的杯子）或“biggest mug”（最大的杯子）（作者指出）。
• 每个场景只重建一次，之后物体被逐个移除而不更新表示；部件选择对措辞敏感，由 LLM 生成的部件查询的部件正确率为 71%，而人工查询为 82%。

对领域的影响

入围 CoRL 2023 最佳论文 / 最佳学生论文奖决选，被引用 159 次。作者通过 lerftogo.github.io 提供代码、数据和附录，该网站链接了一个 GitHub 仓库和一个数据文件夹。

摘要

按特定子部件抓取物体，对于安全以及执行下游任务往往至关重要。我们提出了 LERF-TOGO，即用于物体任务导向抓取的语言嵌入辐射场（Language Embedded Radiance Fields for Task-Oriented Grasping of Objects），它以零样本方式使用视觉-语言模型，在给定自然语言查询时输出物体上的抓取分布。为此，我们首先构建场景的 LERF，它将 CLIP 嵌入蒸馏到一个可以用文本查询的多尺度 3D 语言场中。然而，LERF 没有物体边界的概念，因此其相关性输出往往只在物体上给出不完整的激活，不足以用于抓取。LERF-TOGO 通过 DINO 特征提取 3D 物体掩码，然后在该掩码上条件查询 LERF，得到物体上的语义分布，用来对现成抓取规划器给出的抓取进行排序，以此弥补空间分组的缺失。我们在 31 个实物上评估了 LERF-TOGO 抓取任务导向物体部件的能力，发现它在 81% 的试验中选择了正确部件上的抓取，并在 69% 的试验中成功抓取。代码、数据、附录和详细信息见：lerftogo.github.io

链接

• arXiv 2309.07970: https://arxiv.org/abs/2309.07970
• DOI 10.48550/arXiv.2309.07970: https://doi.org/10.48550/arXiv.2309.07970
• PDF: https://proceedings.mlr.press/v229/rashid23a/rashid23a.pdf
• 代码: https://github.com/lerftogo/lerftogo
• 项目主页: https://lerftogo.github.io/