Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Instance Segmentation

  • Aussi appelé: instance-level segmentation
  • Catégorie: Sensing › Perception outputs
  • Mots-clés: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation

Tâche de perception qui trouve chaque objet individuel dans une image ou un nuage de points et produit un masque distinct pour lui, généralement avec une étiquette de classe, afin que des objets du même type qui se touchent restent séparés.

Définition

La segmentation d'instances (instance segmentation) attribue chaque pixel d'une image, ou chaque point d'un nuage de points, à une instance d'objet précise, en produisant un masque par objet. Elle combine la détection d'objets, qui trouve les objets et les étiquette avec des boîtes englobantes, et la segmentation, qui travaille au niveau des pixels ou des points. Elle se distingue de la segmentation sémantique, qui étiquette chaque pixel avec une classe comme tasse mais ne sépare pas deux tasses qui se touchent, et de la segmentation panoptique, qui réunit les deux en donnant des masques d'instance pour les objets dénombrables et des étiquettes de classe pour les régions de fond comme le sol ou le mur.

Mask R-CNN, présenté par He et ses collègues en 2017, est devenu l'approche standard en deux étapes : proposer des boîtes d'objets, puis prédire une classe et un masque binaire à l'intérieur de chacune. Des méthodes ultérieures prédisent les masques directement à partir de requêtes apprises, et des modèles pilotables par invite comme Segment Anything produisent des masques indépendants de la classe à partir d'un clic ou d'une boîte. En 3D, les méthodes regroupent les points en instances en apprenant des plongements par point ou des décalages vers les centres des objets, ou bien projettent sur un nuage de points des masques 2D issus de plusieurs vues. Les performances sont généralement rapportées sous forme de précision moyenne des masques sur une plage de seuils de recouvrement, comme dans le benchmark COCO.

La robotique ajoute des exigences que les jeux de données de référence ne mettent pas en avant. Les robots dans les foyers et les entrepôts rencontrent des objets qu'aucun jeu d'entraînement ne contenait, si bien que de nombreuses chaînes de manipulation utilisent la segmentation d'instances d'objets inconnus, qui sépare les objets par la géométrie et l'apparence sans leur attribuer de classe. Les masques doivent être alignés sur la profondeur pour que les pixels d'un masque puissent être transformés en nuage de points de l'objet pour la saisie ou l'estimation de pose, et les erreurs de contour ou les fusions d'objets qui se touchent se répercutent directement en saisies ratées. La segmentation interactive, dans laquelle un clic humain ou une poussée du robot lève une ambiguïté, est une manière courante de gérer l'encombrement et les nouvelles catégories.

Pourquoi c'est important

La plupart des chaînes de manipulation doivent savoir quels pixels ou points appartiennent à quel objet avant de pouvoir saisir, suivre ou estimer la pose de quoi que ce soit. La segmentation d'instances est cette étape, et ses modes de défaillance, comme les objets fusionnés, les objets scindés et les articles nouveaux manqués, sont une cause première fréquente des saisies ratées dans un environnement encombré.

Applications principales

  • Dévracage et préparation de commandes en entrepôt
  • Saisie dans un encombrement domestique
  • Chaînes d'estimation de pose d'objets qui partent d'un masque
  • Robots agricoles qui séparent des fruits ou des plantes individuels
  • Suivi multi-objets pour robots mobiles et véhicules autonomes
  • Construction de cartes sémantiques au niveau des objets

En pratique

Dans une cellule de dévracage, une caméra RGB-D placée au-dessus du bac capture une image de colis mélangés. Un réseau de segmentation d'instances entraîné sur la gamme de produits du site produit un masque par colis ; chaque masque est appliqué à l'image de profondeur alignée pour découper le nuage de points de ce colis, qui est transmis à un planificateur de saisie qui choisit un point de ventouse près du centre de la face supérieure. L'équipe suit les échecs où deux cartons de même taille sont fusionnés en un seul masque, puisque le point de saisie tombe alors sur la jointure entre eux, et ajoute au jeu d'entraînement des images de cartons serrés. Pour les articles que le réseau n'a jamais vus, un modèle indépendant de la classe fournit des masques de repli, et les masques de faible confiance sont ignorés jusqu'à ce que le robot ait retiré les articles voisins ou poussé légèrement le tas.

Idées reçues

  • La segmentation d'instances est la même chose que la segmentation sémantique — la segmentation sémantique étiquette des classes mais ne peut pas distinguer deux objets adjacents de la même classe
  • Une boîte englobante suffit pour saisir — les boîtes incluent le fond et les objets voisins, il faut donc un masque pour isoler les pixels ou les points propres à l'objet
  • Un modèle entraîné sur un grand benchmark segmentera n'importe quel objet — les modèles à ensemble fermé ne connaissent que leurs classes d'entraînement, et les robots rencontrent couramment des objets qui n'en font pas partie
  • Une précision élevée sur un benchmark signifie des saisies fiables — de petites erreurs de contour et des objets fusionnés dans l'encombrement comptent bien plus pour une saisie que pour un score de précision moyenne

Qui devrait le savoir

  • Ingénieurs en perception travaillant sur la manipulation
  • Développeurs en automatisation d'entrepôts et de logistique
  • Chercheurs en vision par ordinateur travaillant sur des scènes 3D
  • Ingénieurs en robotique agricole

Technologies associées

  • Mask R-CNN
  • Segment Anything Model
  • Segmentation panoptique (Panoptic Segmentation)
  • Segmentation d'instances d'objets inconnus (Unseen Object Instance Segmentation)
  • Jeu de données COCO

Termes associés

  • Point Cloud
  • Open-Vocabulary Detection
  • Semantic Map
  • Interactive Perception
  • Depth Camera
  • Grasp Planning

Projets associés

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
  • PCL: Industry-standard C++ library for point cloud processing in robotics perception
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation

Vidéos

  • Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
  • Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.