Open-Vocabulary Detection

• Aussi appelé: open-vocabulary object detection, OVD
• Catégorie: Sensing › Perception outputs
• Mots-clés: object-detection, vision-language, computer-vision, perception, zero-shot

Détection d'objets qui trouve des objets décrits par des requêtes textuelles arbitraires, y compris des catégories jamais étiquetées pendant l'entraînement, en mettant en correspondance des régions d'image avec des plongements linguistiques.

Définition

Un détecteur classique entraîné sur un ensemble fixe d'étiquettes ne peut produire que ces étiquettes. La détection à vocabulaire ouvert (open-vocabulary detection) remplace le classifieur fixe par une comparaison entre des caractéristiques de régions et des plongements de texte : au moment de la requête, l'utilisateur fournit des noms de classes ou des phrases, un encodeur de texte les transforme en vecteurs, et chaque région candidate est notée selon sa similarité avec chaque requête. Comme l'espace des étiquettes est défini par du texte plutôt que par un ensemble fixe d'unités de sortie, de nouvelles catégories peuvent être interrogées sans réentraînement, et les étiquettes utilisées au test peuvent différer de celles vues à l'entraînement.

La capacité à reconnaître des catégories dépourvues d'annotations de boîtes vient du préentraînement image-texte à grande échelle. Des modèles comme CLIP apprennent des plongements d'images et de textes alignés à partir de paires image–légende, et les détecteurs à vocabulaire ouvert font descendre cet alignement jusqu'aux régions : en distillant les caractéristiques de CLIP dans un détecteur (ViLD), en greffant des têtes de détection sur un transformeur vision-langage préentraîné (OWL-ViT), ou en s'entraînant sur des données d'ancrage qui relient des phrases à des boîtes (GLIP, Grounding DINO). Le terme, dans ce sens, remonte à des travaux de Zareian et de ses collègues en 2021. La même idée s'étend à la segmentation et à la 3D : la détection d'affordances à vocabulaire ouvert étiquette les points d'un nuage de points avec des noms d'affordances libres en comparant des caractéristiques par point à des plongements de texte.

La détection à vocabulaire ouvert se distingue de deux cadres apparentés. La détection zero-shot (zero-shot detection) s'entraîne généralement sur un ensemble de classes vues et se teste sur un ensemble disjoint de classes non vues, souvent sans préentraînement image-texte à grande échelle. La détection en ensemble ouvert (open-set detection) vise à signaler comme inconnus les objets qui n'appartiennent pas aux classes connues, sans les nommer. En robotique, les détecteurs à vocabulaire ouvert permettent à un système d'agir sur des instructions qui nomment des objets arbitraires ; VoxPoser, par exemple, en utilise un pour localiser les objets mentionnés dans le code généré par un modèle de langage avant de construire ses cartes de valeur 3D.

Pourquoi c'est important

Les robots reçoivent des instructions en langage naturel qui nomment des objets qu'aucun ensemble fixe d'étiquettes n'avait prévus. La détection à vocabulaire ouvert permet à un robot de trouver ces objets sans collecter ni annoter de nouvelles données d'entraînement pour chacun, et c'est ce qui rend la manipulation pilotée par le langage praticable hors d'un ensemble d'objets fixe.

Applications principales

• Manipulation conditionnée par le langage à partir d'instructions en langage naturel
• Recherche d'objets par des robots mobiles dans des espaces non structurés
• Construction de cartes sémantiques interrogeables par texte
• Étiquetage d'affordances sur des nuages de points 3D
• Étiquetage automatique de jeux de données robotiques

En pratique

On demande à un manipulateur mobile de mettre l'éponge bleue dans l'évier. Un analyseur extrait les phrases « éponge bleue » et « évier », et un détecteur à vocabulaire ouvert s'exécute sur l'image RGB courante avec ces requêtes. Les boîtes renvoyées sont transmises à un modèle de segmentation, et les masques sont projetés en 3D avec l'image de profondeur pour donner des nuages de points destinés à la planification de prise et au placement. L'équipe fixe des seuils de score par requête plutôt qu'un seuil global, car les scores de similarité varient avec la formulation, et confirme les détections sur plusieurs images avant d'agir.

Idées reçues

• Vocabulaire ouvert signifie que tout objet est détecté de façon fiable — la précision baisse encore pour les catégories rares, petites ou formulées de manière inhabituelle, et les résultats dépendent de la formulation de la requête
• La détection à vocabulaire ouvert est la même chose que la détection en ensemble ouvert — les méthodes en ensemble ouvert signalent les objets inconnus comme inconnus, tandis que les méthodes à vocabulaire ouvert les nomment à partir de requêtes textuelles
• Les scores sont comparables d'une requête à l'autre — les scores de similarité ne sont pas étalonnés entre phrases, si bien qu'un seul seuil pour toutes les requêtes fonctionne souvent mal

Qui devrait le savoir

• Ingénieurs en perception qui construisent des chaînes de détection pour robots
• Chercheurs en apprentissage robotique travaillant sur des politiques conditionnées par le langage
• Développeurs en manipulation mobile
• Chercheurs qui construisent des cartes sémantiques

Technologies associées

• CLIP
• OWL-ViT
• Grounding DINO
• GLIP
• ViLD
• Segment Anything (SAM)

Termes associés

• VLM
• Foundation Model
• Affordance
• Task-Oriented Grasping
• Point Cloud
• RGB Camera

Projets associés

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
• DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation