Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Instance Segmentation

  • 다른 이름: instance-level segmentation
  • 카테고리: Sensing › Perception outputs
  • 태그: computer-vision, segmentation, perception, deep-learning, 3d-perception, manipulation

이미지나 점군에서 개별 물체를 하나하나 찾아 각각에 대해 별도의 마스크를, 보통 클래스 레이블과 함께 출력하는 인식 작업. 같은 종류의 맞닿은 물체도 서로 분리된 채로 남는다.

정의

인스턴스 분할(instance segmentation)은 이미지의 각 픽셀이나 점군의 각 점을 특정 물체 인스턴스에 할당하여 물체마다 마스크 하나를 만든다. 이는 경계 상자로 물체를 찾아 레이블을 붙이는 물체 검출과, 픽셀이나 점 수준에서 작동하는 분할을 결합한 것이다. 모든 픽셀에 컵 같은 클래스 레이블을 붙이지만 맞닿은 두 컵을 구분하지 않는 의미론적 분할과도 다르고, 셀 수 있는 물체에는 인스턴스 마스크를, 바닥이나 벽 같은 배경 영역에는 클래스 레이블을 주어 둘을 합치는 파놉틱 분할과도 다르다.

2017년 He와 동료들이 발표한 Mask R-CNN은 표준적인 2단계 접근법이 되었다. 먼저 물체 상자를 제안하고, 그다음 각 상자 안에서 클래스와 이진 마스크를 예측한다. 이후의 방법들은 학습된 쿼리에서 마스크를 직접 예측하며, Segment Anything 같은 프롬프트 가능 모델은 클릭이나 상자 하나로부터 클래스에 무관한 마스크를 만든다. 3D에서는 점별 임베딩이나 물체 중심을 향한 오프셋을 학습해 점들을 인스턴스로 묶거나, 여러 시점의 2D 마스크를 점군 위로 끌어올린다. 성능은 보통 COCO 벤치마크처럼 여러 겹침 임계값 범위에 걸친 마스크 평균 정밀도로 보고한다.

로보틱스는 벤치마크 데이터셋이 강조하지 않는 요구 사항을 더한다. 가정과 창고의 로봇은 어떤 학습 세트에도 없던 물체를 만나므로, 많은 조작 파이프라인은 클래스를 할당하지 않고 기하와 외관으로 물체를 분리하는 미지 물체 인스턴스 분할을 사용한다. 마스크의 픽셀을 파지나 자세 추정을 위한 물체 점군으로 바꿀 수 있도록 마스크는 깊이와 정렬되어야 하며, 경계 오차나 맞닿은 물체의 병합은 그대로 파지 실패로 이어진다. 사람의 클릭이나 로봇의 밀기로 모호함을 해소하는 상호작용형 분할은 어수선한 환경과 새로운 범주를 다루는 흔한 방법이다.

중요한 이유

대부분의 조작 파이프라인은 무엇이든 파지하거나 추적하거나 자세를 추정하기 전에 어떤 픽셀이나 점이 어떤 물체에 속하는지 알아야 한다. 인스턴스 분할이 바로 그 단계이며, 물체 병합, 물체 분리, 새로운 물품 누락 같은 그 실패 양상은 어수선한 환경에서 파지 실패의 흔한 근본 원인이다.

주요 응용

  • 빈 피킹과 창고 주문 처리
  • 어수선한 가정 환경에서의 파지
  • 마스크에서 시작하는 물체 자세 추정 파이프라인
  • 개별 과일이나 식물을 분리하는 농업 로봇
  • 이동 로봇과 자율주행차를 위한 다중 물체 추적
  • 물체 수준 의미 지도 구축

실제 사례

빈 피킹 셀에서 빈 위의 RGB-D 카메라가 여러 포장물이 섞인 프레임을 촬영한다. 현장의 제품군으로 학습한 인스턴스 분할 네트워크가 포장물마다 마스크 하나를 출력하고, 각 마스크를 정렬된 깊이 이미지에 적용해 그 포장물의 점군을 잘라 낸다. 이 점군은 파지 계획기로 가서 윗면 중심 근처의 흡착 지점을 고른다. 팀은 같은 크기의 상자 두 개가 하나의 마스크로 병합되는 실패를 추적하는데, 그러면 파지 지점이 둘 사이의 이음매에 떨어지기 때문이다. 그래서 빽빽하게 쌓인 상자 이미지를 학습 세트에 추가한다. 네트워크가 본 적 없는 물품에 대해서는 클래스에 무관한 모델이 대체 마스크를 제공하며, 신뢰도가 낮은 마스크는 로봇이 이웃 물품을 치우거나 더미를 살짝 밀 때까지 건너뛴다.

흔한 오해

  • 인스턴스 분할은 의미론적 분할과 같다 — 의미론적 분할은 클래스에 레이블을 붙이지만 같은 클래스의 인접한 두 물체를 구분하지 못한다
  • 파지에는 경계 상자로 충분하다 — 상자에는 배경과 이웃 물체가 포함되므로, 물체 자체의 픽셀이나 점을 분리하려면 마스크가 필요하다
  • 대규모 벤치마크로 학습한 모델은 어떤 물체든 분할한다 — 폐쇄 집합 모델은 학습 클래스만 알며, 로봇은 그 밖의 물체를 일상적으로 만난다
  • 벤치마크 정밀도가 높으면 파지가 믿을 만하다 — 어수선한 환경에서의 작은 경계 오차와 물체 병합은 평균 정밀도 점수보다 파지에 훨씬 더 큰 영향을 준다

알아야 할 사람

  • 조작을 다루는 인식 엔지니어
  • 창고 및 물류 자동화 개발자
  • 3D 장면을 다루는 컴퓨터 비전 연구자
  • 농업 로보틱스 엔지니어

관련 기술

  • Mask R-CNN
  • Segment Anything Model
  • 파놉틱 분할(Panoptic Segmentation)
  • 미지 물체 인스턴스 분할(Unseen Object Instance Segmentation)
  • COCO 데이터셋

관련 용어

  • Point Cloud
  • Open-Vocabulary Detection
  • Semantic Map
  • Interactive Perception
  • Depth Camera
  • Grasp Planning

관련 프로젝트

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
  • PCL: Industry-standard C++ library for point cloud processing in robotics perception
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation

동영상

  • Image Segmentation, Semantic Segmentation, Instance Segmentation, and Panoptic Segmentation: LearnOpenCV
  • Lecture 5.1: Fundamentals of Instance Segmentation | CVF20: UniHeidelberg

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.