Open-Vocabulary Detection

• También llamado: open-vocabulary object detection, OVD
• Categoría: Sensing › Perception outputs
• Etiquetas: object-detection, vision-language, computer-vision, perception, zero-shot

Detección de objetos que encuentra objetos descritos por consultas de texto arbitrarias, incluidas categorías nunca etiquetadas durante el entrenamiento, comparando regiones de la imagen con embeddings de lenguaje.

Definición

Un detector convencional entrenado con un conjunto fijo de etiquetas solo puede generar esas etiquetas. La detección de vocabulario abierto (open-vocabulary detection) sustituye el clasificador fijo por una comparación entre las características de las regiones y los embeddings de texto: en el momento de la consulta, el usuario proporciona nombres de clases o frases, un codificador de texto los convierte en vectores y cada región candidata se puntúa por su similitud con cada consulta. Como el espacio de etiquetas se define mediante texto y no mediante un conjunto fijo de unidades de salida, se pueden consultar categorías nuevas sin volver a entrenar, y las etiquetas usadas en la prueba pueden diferir de las vistas en el entrenamiento.

La capacidad de reconocer categorías que no tienen anotaciones de cajas procede del preentrenamiento imagen-texto a gran escala. Modelos como CLIP aprenden embeddings de imagen y de texto alineados a partir de pares imagen–descripción, y los detectores de vocabulario abierto trasladan esa alineación a las regiones: destilando características de CLIP en un detector (ViLD), acoplando cabezales de detección a un transformador de visión-lenguaje preentrenado (OWL-ViT) o entrenando con datos de anclaje (grounding) que vinculan frases con cajas (GLIP, Grounding DINO). El término en este sentido procede del trabajo de Zareian y sus colegas en 2021. La misma idea se extiende a la segmentación y al 3D: la detección de affordances de vocabulario abierto etiqueta los puntos de una nube de puntos con nombres de affordances en forma libre comparando las características de cada punto con embeddings de texto.

La detección de vocabulario abierto es distinta de dos escenarios relacionados. La detección zero-shot suele entrenar con un conjunto de clases vistas y evaluar con un conjunto disjunto de clases no vistas, a menudo sin un gran preentrenamiento imagen-texto. La detección de conjunto abierto (open-set detection) busca marcar como desconocidos los objetos que no pertenecen a las clases conocidas, sin nombrarlos. En robótica, los detectores de vocabulario abierto permiten que un sistema actúe según instrucciones que nombran objetos arbitrarios; VoxPoser, por ejemplo, usa uno para localizar los objetos a los que se refiere el código generado por un modelo de lenguaje antes de construir sus mapas de valor 3D.

Por qué importa

Los robots reciben instrucciones en lenguaje natural que nombran objetos que ningún conjunto fijo de etiquetas previó. La detección de vocabulario abierto permite a un robot encontrar esos objetos sin recopilar ni anotar nuevos datos de entrenamiento para cada uno, y eso es lo que hace práctica la manipulación guiada por lenguaje fuera de un conjunto fijo de objetos.

Aplicaciones clave

• Manipulación condicionada por lenguaje a partir de instrucciones en lenguaje natural
• Búsqueda de objetos para robots móviles en espacios no estructurados
• Construcción de mapas semánticos que pueden consultarse con texto
• Etiquetado de affordances en nubes de puntos 3D
• Etiquetado automático de conjuntos de datos de robots

En la práctica

A un manipulador móvil se le indica que ponga la esponja azul en el fregadero. Un analizador extrae las frases «esponja azul» y «fregadero», y un detector de vocabulario abierto se ejecuta sobre la imagen RGB actual con esas consultas. Las cajas devueltas se pasan a un modelo de segmentación, y las máscaras se proyectan en 3D con la imagen de profundidad para obtener nubes de puntos para la planificación del agarre y de la colocación. El equipo fija umbrales de puntuación por consulta en lugar de un único umbral global, porque las puntuaciones de similitud varían con la redacción, y confirma las detecciones a lo largo de varios fotogramas antes de actuar.

Ideas erróneas comunes

• Vocabulario abierto significa que cualquier objeto se detecta de forma fiable — la precisión sigue cayendo en categorías raras, pequeñas o expresadas de forma inusual, y los resultados dependen de la redacción de la consulta
• La detección de vocabulario abierto es lo mismo que la detección de conjunto abierto — los métodos de conjunto abierto marcan los objetos desconocidos como desconocidos, mientras que los métodos de vocabulario abierto los nombran a partir de consultas de texto
• Las puntuaciones son comparables entre consultas — las puntuaciones de similitud no están calibradas entre frases, así que un único umbral para todas las consultas suele funcionar mal

Quién debería saberlo

• Ingenieros de percepción que construyen pipelines de detección para robots
• Investigadores en aprendizaje robótico que trabajan en políticas condicionadas por lenguaje
• Desarrolladores de manipulación móvil
• Investigadores que construyen mapas semánticos

Tecnologías relacionadas

• CLIP
• OWL-ViT
• Grounding DINO
• GLIP
• ViLD
• Segment Anything (SAM)

Términos relacionados

• VLM
• Foundation Model
• Affordance
• Task-Oriented Grasping
• Point Cloud
• RGB Camera

Proyectos relacionados

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
• DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation