Open-Vocabulary Detection

又称: open-vocabulary object detection, OVD
类别: Sensing › Perception outputs
标签: object-detection, vision-language, computer-vision, perception, zero-shot

一种目标检测，它通过把图像区域与语言嵌入相匹配，找出由任意文本查询描述的物体，包括训练期间从未标注过的类别。

定义

在固定标签集上训练的传统检测器只能输出这些标签。开放词汇检测（Open-vocabulary detection）用区域特征与文本嵌入之间的比较取代了固定的分类器：查询时，用户提供类别名称或短语，文本编码器把它们转换为向量，每个候选区域按其与每个查询的相似度打分。由于标签空间由文本而不是由一组固定的输出单元定义，无需重新训练就可以查询新的类别，测试时使用的标签也可以与训练中见过的不同。

识别没有框标注的类别的能力，来自大规模的图文预训练。CLIP 等模型从图像–描述对中学习对齐的图像和文本嵌入，而开放词汇检测器把这种对齐延伸到区域层面：可以把 CLIP 特征蒸馏到检测器中（ViLD），可以在预训练的视觉语言 Transformer 上附加检测头（OWL-ViT），也可以在把短语与框关联起来的定位数据上训练（GLIP、Grounding DINO）。这一意义上的术语可追溯到 Zareian 及其同事 2021 年的工作。同样的思想可以扩展到分割和 3D：开放词汇可供性检测通过比较逐点特征与文本嵌入，用自由形式的可供性名称标注点云中的点。

开放词汇检测不同于两个相关的设定。零样本检测通常在一组已见类别上训练，在一组不相交的未见类别上测试，而且往往没有大规模的图文预训练。开放集检测旨在把不属于已知类别的物体标记为未知，但不为它们命名。在机器人领域，开放词汇检测器让系统能够根据提到任意物体的指令采取行动；例如，VoxPoser 在构建其 3D 价值图之前，用一个开放词汇检测器来定位语言模型生成的代码中所提到的物体。

为何重要

机器人接收的自然语言指令中提到的物体，是任何固定标签集都无法预先涵盖的。开放词汇检测让机器人无需为每种物体收集和标注新的训练数据就能找到它们，这正是让语言驱动的操作在固定物体集合之外变得实用的关键。

主要应用

根据自然语言指令进行的语言条件操作
移动机器人在非结构化空间中搜索物体
构建可以用文本查询的语义地图
在 3D 点云上标注可供性
自动标注机器人数据集

实际应用

一台移动操作机器人被告知把蓝色海绵放进水槽。解析器提取出短语“blue sponge”（蓝色海绵）和“sink”（水槽），开放词汇检测器用这些查询在当前 RGB 图像上运行。返回的框被传给一个分割模型，再借助深度图像把掩码投影到 3D 中，得到用于抓取规划和放置的点云。团队为每个查询分别设定分数阈值，而不是使用一个全局阈值，因为相似度分数会随措辞变化；并且在行动之前，会在多帧上确认检测结果。

常见误解

开放词汇意味着任何物体都能被可靠检测 — 对于罕见、细小或措辞不寻常的类别，精度仍会下降，而且结果取决于查询的措辞
开放词汇检测与开放集检测是一回事 — 开放集方法把不熟悉的物体标记为未知，而开放词汇方法根据文本查询为它们命名
不同查询的分数可以相互比较 — 相似度分数在不同短语之间没有经过校准，因此对所有查询使用同一个阈值往往效果不佳

谁需要了解

为机器人构建检测流程的感知工程师
研究语言条件策略的机器人学习研究人员
移动操作开发者
构建语义地图的研究人员

Open Source Robotics

Open-Vocabulary Detection

定义

为何重要

主要应用

实际应用

常见误解

谁需要了解

相关技术

相关术语

相关项目