Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation

作者: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, Phillip Isola · CoRL 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

F3RM 将 2D 的 CLIP 或 DINO 特征蒸馏到 3D NeRF 特征场中，使机器人能从每个任务两次演示推断 6-DOF 抓取和放置，并拾取用自由文本指定的物体。

为何重要

该方法不需要微调视觉模型，也不需要分割掩码或物体位姿假设，因为它在整个特征场上工作。作者报告称，将更新的视觉-语言模型接入该流程只需几分钟的工程工作，无需重新训练，也无需新的演示。

问题

预训练的 2D 图像模型携带丰富的语义知识，但抓取和放置需要精确的 3D 几何，而 2D 特征缺乏这一点。本文探讨机器人如何在给定少量演示或一段文本描述的情况下，在杂乱场景中拾取从未见过的物体，这些物体在形状、尺寸、位姿和材质上都与演示中的物体不同。

提出的方法

机器人用装在自拍杆上的 RGB 相机扫描桌面（50 张图像），并训练一个 NeRF，它还能渲染来自 DINO ViT 或 CLIP 的稠密特征；CLIP 图块特征通过 MaskCLIP 重参数化提取，使其与语言保持对齐。6-DOF 夹爪位姿的编码方式是在夹爪坐标系中的 100 个查询点上对按占据度加权的特征场进行采样；位姿通过体素预筛选加上 Adam 优化求得，优化目标是两次演示的平均嵌入。对于文本指令，CLIP 文本嵌入会检索最接近的演示，并使位姿代价偏向与查询相匹配的区域。

关键见解

DINO 和 CLIP 特征场是互补的：DINO 提供良好的部件级几何，但会被外观相似的干扰物迷惑，并且容易过拟合颜色，而 CLIP 偏重语义而非几何：27 次 CLIP 失败中有 21 次、19 次 DINO 失败中有 7 次来自抓取旋转或平移误差。
使用 MaskCLIP 从倒数第二层提取的稠密 CLIP 特征保持了与文本编码器的对齐，因此无需微调 CLIP，语言查询就能在 3D 特征场上工作。
按 NeRF 占据度（alpha）对特征加权，使一种查询点表示能同时编码局部几何和语义，而无需物体分割或物体位姿。
当目标用文本指定时，在马克杯和螺丝刀上的演示迁移到了新的类别，例如碗、量杯、胶带卷、白板笔和餐具。
大多数语言引导的失败（19 次中的 13 次）来自 CLIP 表现得像词袋模型，遗漏了查询中的关系、属性和序数信息。

主要结果

每个任务两次演示的抓取和放置，五个任务，每个任务十个测试场景：CLIP ResNet 特征 39/50，CLIP ViT 34/50，DINO ViT 31/50。
相同任务上的基线：NeRF 密度 27/50，RGB 21/50，NeRF 中间特征 9/50，MIRA 15/50。
13 个桌面场景中的语言引导操作：50 个查询中 31 个成功；按类别分，颜色 7/10，材质 7/10，关系 4/10，一般 4/10，分布外物体类别 9/10。
在 NVIDIA RTX 3090 上拟合 NeRF 和特征场最多需要 90 s（平均 80 s），每个场景需要 60–120 MB，而基于面元的 ConceptFusion 每个场景需要 50 GB 到数百 GB。
抓取位姿优化平均需要 15 s；在视图数量消融中，当图像少于 50 张扫描图像中的约 20 张时，质量急剧下降。

局限

作者指出：自动扫描和建模流程每个场景需要几分钟，是系统的主要瓶颈。
作者指出，31/50 的语言引导成功率距离工业实用还很远。
CLIP 的词袋行为导致在“black screwdriver”（黑色螺丝刀）和“mug on a can of spam”（午餐肉罐头上的马克杯）等查询上失败，而通过文本检索演示有时需要提示工程。
查询点分布是针对每个任务手工调节的，并在开发场景上从五组采样的查询点集合中选出最好的一组。
19 次语言引导失败中有六次来自预测抓取的旋转或平移误差。

对领域的影响

荣获 CoRL 2023 最佳论文奖。官方项目页面链接了 F3RM 代码仓库。

摘要

自监督和语言监督的图像模型蕴含着对泛化至关重要的丰富世界知识。然而，许多机器人任务需要对 3D 几何有细致的理解，而 2D 图像特征往往缺乏这一点。这项工作利用蒸馏特征场，将精确的 3D 几何与来自 2D 基础模型的丰富语义结合起来，为机器人操作弥合了这一从 2D 到 3D 的鸿沟。我们提出了一种用于 6-DOF 抓取和放置的少样本学习方法，它利用这些强大的空间和语义先验，实现对未见物体的真实场景泛化。利用从视觉-语言模型 CLIP 蒸馏得到的特征，我们提出了一种通过自由文本自然语言指定新物体以供操作的方法，并展示了它泛化到未见表达和新物体类别的能力。

链接

arXiv 2308.07931: https://arxiv.org/abs/2308.07931
PDF: https://arxiv.org/pdf/2308.07931v1
代码: https://github.com/f3rm/f3rm
项目主页: https://f3rm.csail.mit.edu/