Semantic keypoint

Aussi appelé: category-level keypoint, object keypoint
Catégorie: Sensing › Perception outputs
Mots-clés: manipulation, perception, object-representation, category-level, keypoints

Point d'un objet défini de façon cohérente pour toute une catégorie d'objets, comme l'anse ou le centre du fond d'une tasse, que le robot détecte en 3D pour spécifier et planifier une manipulation.

Définition

Un point clé sémantique (semantic keypoint) est un point d'un objet qui a la même signification sur toutes les instances d'une catégorie : le centre du fond d'une tasse, la pointe d'un tournevis, l'extrémité d'une cheville, le bout d'une chaussure. Contrairement à une caractéristique d'image générique, choisie parce qu'elle est facile à détecter et à suivre, un point clé sémantique est choisi pour ce qu'il signifie pour une tâche. Un modèle de perception, généralement un réseau de neurones entraîné sur des images annotées, prédit la position de chaque point clé dans l'image, et les données de profondeur ou plusieurs vues les transforment en positions 3D.

En manipulation, les points clés sémantiques sont une alternative à l'estimation d'une pose d'objet 6-DOF complète. Une pose n'est bien définie que par rapport à un modèle de référence fixe, ce qui ne tient plus lorsque les instances d'une catégorie diffèrent en taille et en forme : deux tasses peuvent différer en hauteur, en largeur et en position de l'anse, si bien qu'aucune transformation rigide unique n'aligne l'une sur l'autre. Un petit ensemble de points clés garde en revanche un sens sur les deux. L'approche kPAM (Manuelli, Gao, Florence et Tedrake, 2019) s'en sert pour spécifier des tâches sous forme de coûts et de contraintes sur les points clés, par exemple que le centre du fond d'une tasse repose sur une étagère avec le centre du haut juste au-dessus, et résout le mouvement rigide de l'objet qui les satisfait ; une saisie emporte ensuite l'objet selon ce mouvement. kPAM 2.0 étend l'approche à la commande en boucle fermée, ce qui permet des tâches riches en contacts comme l'insertion cheville-trou.

La représentation est compacte et interprétable, et les coûts sur les points clés peuvent s'écrire directement dans un problème d'optimisation aux côtés des contraintes de collision et des contraintes cinématiques. Ses limites ont la même origine. Quelqu'un doit choisir les points clés dont une catégorie a besoin pour une tâche donnée, et quelques points disent peu de chose de la géométrie complète, de sorte que la vérification des collisions exige généralement un nuage de points ou un maillage séparé. Les occultations, la symétrie, lorsque plusieurs points paraissent équivalents, et les objets différents de ceux des données d'entraînement dégradent tous la détection. Parmi les représentations apparentées figurent les descripteurs visuels denses, qui attribuent une caractéristique apprise à chaque pixel, et les cartes de coordonnées d'objet normalisées, qui prédisent un repère de forme canonique pour chaque pixel.

Pourquoi c'est important

Les robots à domicile, en laboratoire et en entrepôt rencontrent de nombreuses instances d'objets qui partagent un usage mais pas une forme exacte. Les points clés sémantiques permettent d'écrire une seule spécification de tâche pour toute une catégorie tout en plaçant les objets avec précision, sans modèle CAO de chaque objet.

Applications principales

Prise et dépose au niveau de la catégorie pour des objets de formes variées
Spécification de tâches de pose, d'accrochage et d'empilement
Assemblage riche en contacts comme l'insertion cheville-trou
Utilisation d'outils, où des points pertinents pour la tâche définissent comment un outil rencontre une pièce
Suivi d'objets articulés ou déformables au moyen de quelques points significatifs

En pratique

Une équipe veut qu'un robot suspende à un support n'importe laquelle de quelques dizaines de tasses différentes. Elle annote trois points clés sur quelques centaines d'images de profondeur : le centre du fond, le centre du haut et un point à l'intérieur de l'anse. Un réseau entraîné sur ces images prédit les points clés sur de nouvelles tasses, et leurs positions 3D sont lues dans l'image de profondeur. La tâche s'écrit sous forme de contraintes : le point de l'anse doit aboutir sur le crochet du support, et l'axe allant du fond vers le haut doit être proche de l'horizontale. Un optimiseur trouve la transformation rigide de la tasse qui les satisfait, le robot saisit le bord, et le mouvement planifié de la tasse est converti en trajectoire de l'effecteur terminal. La plupart des échecs surviennent lorsque l'anse est cachée à la caméra ; l'équipe fait donc déplacer la caméra ou tourner la tasse par le robot et détecter de nouveau avant de planifier.

Idées reçues

Les points clés sémantiques sont la même chose que les points caractéristiques d'image comme les coins SIFT ou ORB — ceux-ci sont choisis parce qu'ils sont distinctifs et faciles à suivre, tandis que les points clés sémantiques sont choisis pour leur signification dans la tâche et se correspondent d'une instance à l'autre
Les points clés remplacent toute la géométrie de l'objet — ils ne décrivent que les points pertinents pour la tâche, donc l'évitement de collisions et le choix de la saisie nécessitent toujours un nuage de points ou un maillage
Les points clés font disparaître la pose du problème — ils évitent une pose d'objet 6-DOF fondée sur un modèle de référence, mais le robot calcule toujours une transformation rigide pour l'objet et une pose complète pour sa pince

Qui devrait le savoir

Ingénieurs en manipulation travaillant avec des objets du quotidien variés
Ingénieurs en perception qui entraînent des détecteurs de points clés
Chercheurs en apprentissage robotique qui conçoivent des représentations d'objets
Intégrateurs qui construisent des cellules flexibles de prise et dépose et d'assemblage

Technologies associées

kPAM
Régression de cartes de chaleur de points clés
Descripteurs d'objets denses (Dense Object Descriptors)
Normalized Object Coordinate Space (NOCS)
Perspective-n-Point

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
PCL: Industry-standard C++ library for point cloud processing in robotics perception
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation