Instance Segmentation
- Detto anche: instance-level segmentation
- Categoria: Sensing › Perception outputs
- Tag: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation
Un compito di percezione che trova ogni singolo oggetto in un'immagine o in una nuvola di punti e produce una maschera separata per ciascuno, di solito con un'etichetta di classe, così che gli oggetti dello stesso tipo che si toccano restino separati.
Definizione
La segmentazione di istanze (instance segmentation) assegna ogni pixel di un'immagine, o ogni punto di una nuvola di punti, a una specifica istanza di oggetto, producendo una maschera per oggetto. Combina il rilevamento di oggetti, che trova ed etichetta gli oggetti con riquadri di delimitazione, con la segmentazione, che lavora a livello di pixel o di punti. Si distingue dalla segmentazione semantica, che etichetta ogni pixel con una classe come tazza ma non separa due tazze che si toccano, e dalla segmentazione panottica, che unisce le due fornendo maschere di istanza per gli oggetti numerabili ed etichette di classe per le regioni di sfondo come il pavimento o la parete.
Mask R-CNN, introdotto da He e colleghi nel 2017, è diventato l'approccio standard a due stadi: proporre riquadri di oggetti, poi prevedere una classe e una maschera binaria all'interno di ciascuno. I metodi successivi prevedono le maschere direttamente da query apprese, e i modelli guidati da prompt come Segment Anything producono maschere indipendenti dalla classe a partire da un clic o da un riquadro. In 3D, i metodi raggruppano i punti in istanze apprendendo embedding per punto o spostamenti verso i centri degli oggetti, oppure proiettano su una nuvola di punti maschere 2D ottenute da più viste. Le prestazioni si riportano di solito come precisione media delle maschere su un intervallo di soglie di sovrapposizione, come nel benchmark COCO.
La robotica aggiunge requisiti che i dataset di benchmark non mettono alla prova. I robot nelle case e nei magazzini incontrano oggetti che nessun set di addestramento conteneva, per cui molte pipeline di manipolazione usano la segmentazione di istanze di oggetti non visti, che separa gli oggetti in base a geometria e aspetto senza assegnare una classe. Le maschere devono essere allineate con la profondità perché i pixel di una maschera possano essere trasformati in una nuvola di punti dell'oggetto per la presa o la stima della posa, e gli errori sui bordi o la fusione di oggetti che si toccano si propagano direttamente in prese fallite. La segmentazione interattiva, in cui un clic umano o una spinta del robot risolve un'ambiguità, è un modo comune per gestire il disordine e le categorie nuove.
Perché è importante
La maggior parte delle pipeline di manipolazione deve sapere quali pixel o punti appartengono a quale oggetto prima di poter afferrare, tracciare o stimare la posa di qualsiasi cosa. La segmentazione di istanze è quel passo, e i suoi modi di guasto, come oggetti fusi, oggetti divisi e articoli nuovi non rilevati, sono una causa radice frequente di prese fallite in ambienti disordinati.
Applicazioni principali
- Bin picking ed evasione degli ordini in magazzino
- Presa in ambienti domestici disordinati
- Pipeline di stima della posa degli oggetti che partono da una maschera
- Robot agricoli che separano singoli frutti o piante
- Tracciamento di più oggetti per robot mobili e veicoli autonomi
- Costruzione di mappe semantiche a livello di oggetto
In pratica
In una cella di bin picking, una telecamera RGB-D sopra il contenitore acquisisce un fotogramma di pacchi misti. Una rete di segmentazione di istanze addestrata sulla gamma di prodotti del sito produce una maschera per pacco; ogni maschera viene applicata all'immagine di profondità allineata per ritagliare la nuvola di punti di quel pacco, che passa a un pianificatore di presa che sceglie un punto di aspirazione vicino al centro della faccia superiore. Il gruppo tiene traccia dei fallimenti in cui due scatole della stessa dimensione vengono fuse in un'unica maschera, perché il punto di presa finisce allora sulla giunzione tra le due, e aggiunge al set di addestramento immagini di scatole molto ravvicinate. Per gli articoli che la rete non ha mai visto, un modello indipendente dalla classe fornisce maschere di riserva, e le maschere a bassa confidenza vengono saltate finché il robot non ha rimosso gli articoli vicini o dato una leggera spinta al mucchio.
Idee sbagliate comuni
- La segmentazione di istanze è la stessa cosa della segmentazione semantica — la segmentazione semantica etichetta le classi ma non sa distinguere due oggetti adiacenti della stessa classe
- Un riquadro di delimitazione basta per la presa — i riquadri includono lo sfondo e gli oggetti vicini, quindi serve una maschera per isolare i pixel o i punti propri dell'oggetto
- Un modello addestrato su un grande benchmark segmenterà qualsiasi oggetto — i modelli a insieme chiuso conoscono solo le loro classi di addestramento, e i robot incontrano di routine oggetti al di fuori di esse
- Un'alta precisione sul benchmark significa prese affidabili — piccoli errori sui bordi e oggetti fusi in ambienti disordinati contano molto di più per una presa che per un punteggio di precisione media
Chi dovrebbe saperlo
- Ingegneri della percezione che lavorano sulla manipolazione
- Sviluppatori di automazione per magazzini e logistica
- Ricercatori di visione artificiale che lavorano su scene 3D
- Ingegneri di robotica agricola
Tecnologie correlate
- Mask R-CNN
- Segment Anything Model
- Segmentazione panottica (Panoptic Segmentation)
- Segmentazione di istanze di oggetti non visti (Unseen Object Instance Segmentation)
- Dataset COCO (COCO Dataset)
Termini correlati
Progetti correlati
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Video
- Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
- Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg