Interactive Object Segmentation in 3D Point Clouds

저자: Theodora Kontogianni, Ekin Celikkan, Siyu Tang, Konrad Schindler · ICRA 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

사용자가 3D 점군에서 양성 점과 음성 점을 직접 클릭하면, ScanNet으로만 학습한 희소 복셀 네트워크가 물체 마스크를 개선하며, 이는 다른 실내 및 실외 데이터셋으로 전이된다.

중요한 이유

로봇 인식 모델에는 레이블된 점군이 필요한데, 이 방법은 정렬된 이미지 없이 점군만으로 작동하고, 어떤 점 기반 또는 복셀 기반 3D 분할 네트워크에도 추가할 수 있다. 또한 학습 세트에 없는 클래스도 분할하며, 저자들은 몇 번의 클릭으로 자동 인스턴스 마스크와 기존 정답 레이블을 개선할 수 있음을 보여 준다.

문제

조밀한 3D 레이블은 비용이 많이 든다. 장면에는 수백만 개의 점이 있고 3D 레이블링 인터페이스는 느리다. 이전의 대화형 3D 방법은 2D 이미지에서 사용자 피드백을 받았는데, 이는 카메라 자세를 아는 정렬된 이미지와 2D 및 3D 뷰 사이의 전환이 필요하다. 반면 완전 지도 인스턴스 분할은 대규모 학습 세트가 필요하고, 보지 못한 클래스로 일반화되지 않으며, 정답 레이블로 쓰기에는 너무 거친 마스크를 낸다.

제안 방법

사용자는 3D 장면에서 점을 클릭한다. 각 클릭은 작은 정육면체(한 변 5 cm, ScanNet에서 약 30개 점) 안의 모든 점을 양성 클릭과 음성 클릭을 위한 두 개의 추가 입력 채널 중 하나에 표시한다. ScanNetV2 의미 분할 가중치로 초기화된 MinkowskiEngine 희소 합성곱 네트워크가 이진 전경/배경 마스크를 출력하며, 무작위로 시뮬레이션된 클릭으로 미세 조정된다. 테스트 시에는 시뮬레이션된 사용자가 가장 큰 오류 영역의 중심을 클릭한다. 선택적인 온라인 적응은 레이블링 중 사용자의 클릭으로부터 모델을 업데이트한다.

핵심 통찰

• 클릭을 작은 정육면체로 인코딩하면 바운딩 박스를 사용하는 기존 3D 레이블링 도구에 잘 맞는다. 한 변이 5 cm일 때 가장 좋았다(NOC@90이 14.72, 10 cm일 때는 16.09).
• ScanNetV2로만 학습한 모델은 자체 검증 세트보다 S3DIS에서 더 적은 클릭이 필요했던 반면, SemanticKITTI(희소, 색상 없음, 다른 센서)는 훨씬 더 많은 클릭이 필요했다.
• 사용자 클릭으로부터의 온라인 적응은 SemanticKITTI에서 약 4회의 클릭을 줄였고, beam과 board처럼 ScanNet에 없는 S3DIS 클래스에 도움이 되었다.
• 3인 사용자 연구에서 시뮬레이션된 클릭은 실제 주석자를 잘 대표했다.
• IoU 80%의 마스크에도 상당한 오류 영역이 남아 있으므로, 저자들은 정답 레이블링이 약 90% IoU를 목표로 해야 한다고 주장한다.

주요 결과

• ScanNetV2 검증 세트에서 80 / 85 / 90% IoU에 도달하는 데 필요한 클릭 수: 학습에 포함된 클래스에서 8.3 / 10.6 / 13.6, 보지 못한 클래스에서 11.7 / 14.1 / 16.5.
• ScanNetV2 벤치마크 클래스에서의 3D 인스턴스 분할 AP: Table 1에서 물체당 5회 클릭으로 61.8(본문에는 61.5로 기재), 10회 클릭으로 75.5이며, 클래스 무관 HAIS는 55.1, SSTNet은 49.4였다.
• 보지 못한 ScanNetV2 클래스: AP가 1회 클릭으로 13.5, 3회 클릭으로 33.1, 10회 클릭으로 60.3이었으며, 클래스 무관 HAIS는 13.8이었다.
• 미세 조정 없는 S3DIS Area 5: 80 / 85 / 90% IoU까지 6.8 / 8.9 / 11.8회 클릭, 온라인 적응 시 6.5 / 8.6 / 11.5회.
• SemanticKITTI: 80 / 85 / 90% IoU까지 19.4 / 19.5 / 19.6회 클릭, 온라인 적응 시 15.1 / 15.4 / 15.9회로 감소.
• 사용자 연구: 어려운 'picture' 클래스에서 5회 클릭 후 IoU는 사람이 49.6, 시뮬레이터가 32.0이었고, 무작위 물체에서 10회 클릭 후 IoU는 82.0 대 84.8이었다.

한계

• 이 연구는 3D 인식 도구다. 사람의 클릭으로 점군에서 물체를 분할하며, 실험에 로봇은 사용되지 않는다.
• 저자들은 사전 학습된 의미 및 인스턴스 백본으로 입력을 강화하는 것을 향후 연구로 꼽는다.
• 이전 상호작용에서 얻은 마스크는 아직 다음 교정을 위한 입력으로 다시 사용되지 않는다.
• 학습 시 실제 사용자를 모사하는 반복 전략이 아니라 무작위로 클릭을 샘플링하며, 전경/배경 클래스 불균형을 다루는 손실이 없다.
• 색상이 없는 희소한 실외 스캔은 훨씬 더 많은 클릭이 필요하다. 적응 없이 SemanticKITTI에서 80–90% IoU에 도달하려면 약 19.5회가 필요하다.

분야에 미친 영향

ICRA 2023 Outstanding Physical Human-Robot Interaction Paper 상 최종 후보에 올랐으며, 인용 수는 36회다. 라이선스된 사본은 코드나 데이터를 링크하지 않는다. 사용자 연구를 위해 만든 주석 도구를 설명하지만 공개되었다고는 말하지 않는다.

초록

딥러닝은 대량의 레이블된 학습 데이터에 의존한다. 수동 레이블링은 비용이 많이 들고 병목이 되며, 특히 개별 점 수준까지 레이블을 할당해야 하는 분할 같은 과제에서 그렇다. 이 문제는 3D 데이터에서 더욱 벅차다. 3D 점군은 장면당 수백만 개의 점을 포함하며, 이를 정확하게 주석 처리하는 데에는 훨씬 더 많은 시간이 든다. 3D 점군용 사용자 인터페이스의 복잡성이 더해져 주석 작업이 한층 더 느려지면서 상황은 더욱 악화된다. 2D 이미지 분할의 경우에는 대화형 기법이 보편화되었는데, 몇 번의 클릭 형태로 주어지는 사용자 피드백이 분할 알고리즘(오늘날에는 보통 신경망)을 이끌어 최소한의 노력으로 정확한 레이블링을 달성한다. 놀랍게도 3D 장면의 대화형 분할은 많이 탐구되지 않았다. 이전 연구는 2D 영역의 사람 피드백을 사용해 정확한 3D 분할 마스크를 얻으려 했는데, 이는 올바르게 정렬된 이미지가 3D 점군과 함께 제공될 때만 가능하며 2D와 3D 영역 사이를 오가야 한다. 여기서 우리는 사용자가 3D 점군과 직접 상호작용하는 대화형 3D 물체 분할 방법을 제시한다. 중요한 점은 우리 모델이 대상 도메인의 학습 데이터를 필요로 하지 않는다는 것이다. ScanNet으로 학습했을 때, 데이터 특성과 물체 클래스가 서로 다른 여러 다른 데이터셋에서도 좋은 성능을 보인다. 또한 우리 방법은 지도 (인스턴스) 분할 방법과 직교적이며, 이들과 결합하여 최소한의 사람 노력으로 자동 분할 결과를 개선할 수 있다.

링크

• arXiv 2204.07183: https://arxiv.org/abs/2204.07183
• DOI 10.1109/ICRA48891.2023.10160904: https://doi.org/10.1109/ICRA48891.2023.10160904
• PDF: https://arxiv.org/pdf/2204.07183v1