Open-Vocabulary Detection

• 다른 이름: open-vocabulary object detection, OVD
• 카테고리: Sensing › Perception outputs
• 태그: object-detection, vision-language, computer-vision, perception, zero-shot

이미지 영역을 언어 임베딩과 매칭하여, 학습 중에 한 번도 레이블되지 않은 범주를 포함해 임의의 텍스트 질의로 기술된 물체를 찾는 물체 검출.

정의

고정된 레이블 집합으로 학습된 기존 검출기는 그 레이블만 출력할 수 있다. 개방 어휘 검출(open-vocabulary detection)은 고정된 분류기를 영역 특징과 텍스트 임베딩 사이의 비교로 대체한다. 질의 시점에 사용자가 클래스 이름이나 구절을 제공하면, 텍스트 인코더가 이를 벡터로 바꾸고, 각 후보 영역은 각 질의와의 유사도로 점수가 매겨진다. 레이블 공간이 고정된 출력 유닛 집합이 아니라 텍스트로 정의되므로, 재학습 없이 새 범주를 질의할 수 있고, 테스트 시 사용하는 레이블이 학습 중에 본 레이블과 다를 수 있다.

박스 주석이 없는 범주를 인식하는 능력은 대규모 이미지-텍스트 사전 학습에서 온다. CLIP 같은 모델은 이미지–캡션 쌍으로부터 정렬된 이미지 및 텍스트 임베딩을 학습하며, 개방 어휘 검출기는 그 정렬을 영역 수준으로 내려보낸다. CLIP 특징을 검출기로 증류하거나(ViLD), 사전 학습된 비전 언어 트랜스포머에 검출 헤드를 붙이거나(OWL-ViT), 구절을 박스에 연결하는 그라운딩 데이터로 학습한다(GLIP, Grounding DINO). 이런 의미의 용어는 2021년 Zareian과 동료들의 연구에서 비롯되었다. 같은 아이디어는 분할과 3D로 확장된다. 개방 어휘 어포던스 검출은 점별 특징을 텍스트 임베딩과 비교하여 점군의 점들에 자유 형식의 어포던스 이름을 레이블로 붙인다.

개방 어휘 검출은 관련된 두 설정과 구별된다. 제로샷 검출(zero-shot detection)은 보통 본 클래스 집합으로 학습하고 그와 겹치지 않는 보지 않은 클래스 집합으로 테스트하며, 흔히 대규모 이미지-텍스트 사전 학습 없이 이루어진다. 개방 집합 검출(open-set detection)은 알려진 클래스에 없는 물체를 이름을 붙이지 않고 미지로 표시하는 것을 목표로 한다. 로보틱스에서 개방 어휘 검출기는 임의의 물체를 지명하는 지시에 따라 시스템이 행동할 수 있게 한다. 예를 들어 VoxPoser는 3D 가치 지도를 만들기 전에, 언어 모델이 생성한 코드에서 언급된 물체의 위치를 찾는 데 개방 어휘 검출기를 사용한다.

중요한 이유

로봇은 어떤 고정된 레이블 집합도 예상하지 못한 물체를 지명하는 자연어 지시를 받는다. 개방 어휘 검출은 물체마다 새 학습 데이터를 수집하고 주석하지 않고도 로봇이 그런 물체를 찾게 해 주며, 이것이 고정된 물체 집합 밖에서 언어 기반 매니퓰레이션을 실용적으로 만든다.

주요 응용

• 자연어 지시에 따른 언어 조건부 매니퓰레이션
• 비정형 공간에서 이동 로봇의 물체 탐색
• 텍스트로 질의할 수 있는 의미 지도 구축
• 3D 점군에 어포던스 레이블 붙이기
• 로봇 데이터셋 자동 레이블링

실제 사례

모바일 매니퓰레이터가 파란 스펀지를 싱크대에 넣으라는 지시를 받는다. 파서가 "파란 스펀지"와 "싱크대"라는 구절을 추출하고, 개방 어휘 검출기가 그 질의로 현재 RGB 이미지에서 실행된다. 반환된 박스는 분할 모델로 전달되고, 마스크는 깊이 이미지로 3D에 투영되어 파지 계획과 배치를 위한 점군이 된다. 팀은 유사도 점수가 표현에 따라 달라지므로 하나의 전역 임계값 대신 질의별로 점수 임계값을 정하고, 행동하기 전에 여러 프레임에 걸쳐 검출을 확인한다.

흔한 오해

• 개방 어휘라는 것은 어떤 물체든 신뢰성 있게 검출된다는 뜻이다 — 드물거나, 작거나, 특이하게 표현된 범주에서는 여전히 정확도가 떨어지며, 결과는 질의의 표현에 달려 있다
• 개방 어휘 검출은 개방 집합 검출과 같다 — 개방 집합 방법은 낯선 물체를 미지로 표시하는 반면, 개방 어휘 방법은 텍스트 질의로부터 이름을 붙인다
• 점수는 질의 사이에서 비교할 수 있다 — 유사도 점수는 구절 사이에서 보정되어 있지 않으므로, 모든 질의에 하나의 임계값을 쓰면 흔히 잘 작동하지 않는다

알아야 할 사람

• 로봇용 검출 파이프라인을 구축하는 인식 엔지니어
• 언어 조건부 정책을 연구하는 로봇 학습 연구자
• 모바일 매니퓰레이션 개발자
• 의미 지도를 구축하는 연구자

관련 기술

• CLIP
• OWL-ViT
• Grounding DINO
• GLIP
• ViLD
• Segment Anything(SAM)

관련 용어

• VLM
• Foundation Model
• Affordance
• Task-Oriented Grasping
• Point Cloud
• RGB Camera

관련 프로젝트

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
• DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation