Instance Segmentation
- Também chamado: instance-level segmentation
- Categoria: Sensing › Perception outputs
- Tags: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation
Uma tarefa de percepção que encontra cada objeto individual em uma imagem ou nuvem de pontos e gera uma máscara separada para ele, geralmente com um rótulo de classe, para que objetos do mesmo tipo que se tocam continuem separados.
Definição
A segmentação de instâncias (instance segmentation) atribui cada pixel de uma imagem, ou cada ponto de uma nuvem de pontos, a uma instância de objeto específica, produzindo uma máscara por objeto. Ela combina a detecção de objetos, que encontra e rotula objetos com caixas delimitadoras, com a segmentação, que trabalha no nível de pixels ou pontos. Ela se distingue da segmentação semântica, que rotula cada pixel com uma classe, como xícara, mas não separa duas xícaras que se tocam, e da segmentação panóptica, que une as duas, fornecendo máscaras de instância para objetos contáveis e rótulos de classe para regiões de fundo, como chão ou parede.
O Mask R-CNN, apresentado por He e colegas em 2017, tornou-se a abordagem padrão em dois estágios: propor caixas de objetos e, em seguida, prever uma classe e uma máscara binária dentro de cada uma. Métodos posteriores preveem máscaras diretamente a partir de consultas aprendidas, e modelos acionados por prompts, como o Segment Anything, produzem máscaras independentes de classe a partir de um clique ou de uma caixa. Em 3D, os métodos agrupam pontos em instâncias aprendendo embeddings por ponto ou deslocamentos em direção aos centros dos objetos, ou projetam máscaras 2D de várias vistas sobre uma nuvem de pontos. O desempenho costuma ser relatado como a precisão média das máscaras ao longo de uma faixa de limiares de sobreposição, como no benchmark COCO.
A robótica acrescenta requisitos que os conjuntos de dados de benchmark não enfatizam. Robôs em residências e armazéns encontram objetos que nenhum conjunto de treinamento continha, por isso muitos pipelines de manipulação usam a segmentação de instâncias de objetos não vistos, que separa os objetos por geometria e aparência sem atribuir uma classe. As máscaras precisam se alinhar com a profundidade para que os pixels de uma máscara possam ser convertidos em uma nuvem de pontos do objeto para preensão ou estimativa de pose, e erros de borda ou a fusão de objetos que se tocam se propagam diretamente em preensões fracassadas. A segmentação interativa, em que um clique humano ou um empurrão do robô resolve uma ambiguidade, é uma forma comum de LiDAR com a desordem e com categorias novas.
Por que importa
A maioria dos pipelines de manipulação precisa saber quais pixels ou pontos pertencem a qual objeto antes de poder pegar, rastrear ou estimar a pose de qualquer coisa. A segmentação de instâncias é esse passo, e seus modos de falha, como objetos fundidos, objetos divididos e itens novos não detectados, são uma causa raiz frequente de falhas de preensão em ambientes desordenados.
Principais aplicações
- Bin picking e atendimento de pedidos em armazéns
- Preensão em ambientes domésticos desordenados
- Pipelines de estimativa de pose de objetos que partem de uma máscara
- Robôs agrícolas que separam frutos ou plantas individuais
- Rastreamento de múltiplos objetos para robôs móveis e veículos autônomos
- Construção de mapas semânticos no nível de objetos
Na prática
Em uma célula de bin picking, uma câmera RGB-D acima da caixa captura um quadro com pacotes variados. Uma rede de segmentação de instâncias treinada com a linha de produtos do local gera uma máscara por pacote; cada máscara é aplicada à imagem de profundidade alinhada para recortar a nuvem de pontos daquele pacote, que vai para um planejador de preensão que escolhe um ponto de sucção perto do centro da face superior. A equipe acompanha as falhas em que duas caixas do mesmo tamanho são fundidas em uma única máscara, já que o ponto de preensão então cai na emenda entre elas, e acrescenta ao conjunto de treinamento imagens de caixas muito juntas. Para itens que a rede nunca viu, um modelo independente de classe fornece máscaras de reserva, e máscaras com baixa confiança são ignoradas até que o robô tenha removido os itens vizinhos ou dado um leve empurrão na pilha.
Equívocos comuns
- Segmentação de instâncias é o mesmo que segmentação semântica — a segmentação semântica rotula classes, mas não consegue distinguir dois objetos adjacentes da mesma classe
- Uma caixa delimitadora basta para a preensão — as caixas incluem o fundo e objetos vizinhos, então é preciso uma máscara para isolar os pixels ou pontos do próprio objeto
- Um modelo treinado em um grande benchmark vai segmentar qualquer objeto — modelos de conjunto fechado só conhecem suas classes de treinamento, e os robôs encontram rotineiramente objetos fora delas
- Alta precisão no benchmark significa preensões confiáveis — pequenos erros de borda e objetos fundidos em ambientes desordenados importam muito mais para uma preensão do que para uma pontuação de precisão média
Quem deve saber
- Engenheiros de percepção que trabalham com manipulação
- Desenvolvedores de automação de armazéns e logística
- Pesquisadores de visão computacional que trabalham com cenas 3D
- Engenheiros de robótica agrícola
Tecnologias relacionadas
- Mask R-CNN
- Segment Anything Model
- Segmentação panóptica (Panoptic Segmentation)
- Segmentação de instâncias de objetos não vistos (Unseen Object Instance Segmentation)
- Conjunto de dados COCO (COCO Dataset)
Termos relacionados
Projetos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Vídeos
- Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
- Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg