Instance Segmentation
- También llamado: instance-level segmentation
- Categoría: Sensing › Perception outputs
- Etiquetas: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation
Una tarea de percepción que encuentra cada objeto individual en una imagen o nube de puntos y genera una máscara separada para él, normalmente con una etiqueta de clase, de modo que los objetos del mismo tipo que se tocan se mantienen separados.
Definición
La segmentación de instancias (instance segmentation) asigna cada píxel de una imagen, o cada punto de una nube de puntos, a una instancia de objeto concreta, y produce una máscara por objeto. Combina la detección de objetos, que encuentra y etiqueta objetos con cuadros delimitadores, con la segmentación, que trabaja a nivel de píxeles o de puntos. Se distingue de la segmentación semántica, que etiqueta cada píxel con una clase como taza pero no separa dos tazas que se tocan, y de la segmentación panóptica, que une ambas dando máscaras de instancia para los objetos contables y etiquetas de clase para las regiones de fondo, como el suelo o la pared.
Mask R-CNN, presentado por He y sus colegas en 2017, se convirtió en el enfoque estándar en dos etapas: proponer cuadros de objetos y, después, predecir una clase y una máscara binaria dentro de cada uno. Los métodos posteriores predicen las máscaras directamente a partir de consultas aprendidas, y los modelos guiados por indicaciones, como Segment Anything, producen máscaras independientes de la clase a partir de un clic o de un cuadro. En 3D, los métodos agrupan los puntos en instancias aprendiendo embeddings por punto o desplazamientos hacia los centros de los objetos, o proyectan sobre una nube de puntos máscaras 2D obtenidas desde varias vistas. El rendimiento suele expresarse como la precisión media de las máscaras sobre un rango de umbrales de solapamiento, como en el benchmark COCO.
La robótica añade requisitos que los conjuntos de datos de benchmark no ponen a prueba. Los robots en hogares y almacenes encuentran objetos que ningún conjunto de entrenamiento contenía, por lo que muchas cadenas de manipulación usan la segmentación de instancias de objetos no vistos, que separa los objetos por geometría y apariencia sin asignarles una clase. Las máscaras deben coincidir con la profundidad para que los píxeles de una máscara puedan convertirse en una nube de puntos del objeto para el agarre o la estimación de pose, y los errores en los bordes o la fusión de objetos que se tocan se propagan directamente en agarres fallidos. La segmentación interactiva, en la que un clic humano o un empujón del robot resuelve una ambigüedad, es una forma habitual de manejar el desorden y las categorías nuevas.
Por qué importa
La mayoría de las cadenas de manipulación necesitan saber qué píxeles o puntos pertenecen a qué objeto antes de poder agarrar, seguir o estimar la pose de cualquier cosa. La segmentación de instancias es ese paso, y sus modos de fallo, como objetos fusionados, objetos divididos y artículos nuevos no detectados, son una causa raíz frecuente de agarres fallidos en entornos desordenados.
Aplicaciones clave
- Picking en contenedores y preparación de pedidos en almacenes
- Agarre en entornos domésticos desordenados
- Cadenas de estimación de la pose de objetos que parten de una máscara
- Robots agrícolas que separan frutos o plantas individuales
- Seguimiento de múltiples objetos para robots móviles y vehículos autónomos
- Construcción de mapas semánticos a nivel de objeto
En la práctica
En una celda de picking en contenedores, una cámara RGB-D situada sobre el contenedor captura una imagen de paquetes mezclados. Una red de segmentación de instancias entrenada con la gama de productos del centro genera una máscara por paquete; cada máscara se aplica a la imagen de profundidad alineada para recortar la nube de puntos de ese paquete, que pasa a un planificador de agarre que elige un punto de succión cerca del centro de la cara superior. El equipo registra los fallos en los que dos cajas del mismo tamaño se fusionan en una sola máscara, ya que entonces el punto de agarre cae sobre la junta entre ellas, y añade al conjunto de entrenamiento imágenes de cajas muy juntas. Para los artículos que la red nunca ha visto, un modelo independiente de la clase proporciona máscaras de respaldo, y las máscaras de baja confianza se omiten hasta que el robot ha retirado los artículos vecinos o ha empujado ligeramente el montón.
Ideas erróneas comunes
- La segmentación de instancias es lo mismo que la segmentación semántica — la segmentación semántica etiqueta clases, pero no puede distinguir dos objetos adyacentes de la misma clase
- Un cuadro delimitador basta para agarrar — los cuadros incluyen fondo y objetos vecinos, por lo que hace falta una máscara para aislar los píxeles o puntos propios del objeto
- Un modelo entrenado con un gran benchmark segmentará cualquier objeto — los modelos de conjunto cerrado solo conocen sus clases de entrenamiento, y los robots encuentran a diario objetos fuera de ellas
- Una precisión alta en el benchmark significa agarres fiables — los pequeños errores en los bordes y los objetos fusionados en entornos desordenados importan mucho más para un agarre que para una puntuación de precisión media
Quién debería saberlo
- Ingenieros de percepción que trabajan en manipulación
- Desarrolladores de automatización de almacenes y logística
- Investigadores en visión por computador que trabajan con escenas 3D
- Ingenieros de robótica agrícola
Tecnologías relacionadas
- Mask R-CNN
- Segment Anything Model
- Segmentación panóptica (Panoptic Segmentation)
- Segmentación de instancias de objetos no vistos (Unseen Object Instance Segmentation)
- Conjunto de datos COCO (COCO Dataset)
Términos relacionados
Proyectos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Vídeos
- Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
- Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg