Open-Vocabulary Affordance Detection in 3D Point Clouds

저자: Toan Nguyen, Minh Nhat Vu, An Vuong, Dzung Nguyen, Thieu Vo, Ngan Le, Anh Nguyen · IROS 2023

라이선스

오픈 액세스
논문: CC0 1.0 Universal

아래 내용은 모두 저자들이 CC0 1.0 Universal로 공개한 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

점별 PointNet++ 특징을 고정된 CLIP 텍스트 임베딩과 매칭하여, 로봇이 학습에 없던 단어를 포함한 어떤 어포던스 단어로든 점군을 질의할 수 있게 한다.

중요한 이유

로봇에게 물체의 어느 부분에 작용할지를 평이한 말로 지시하면, 새 동사마다 재학습하지 않고도 파지 검출, 역기구학, 궤적 계획에 바로 넘길 수 있는 3D 영역을 얻을 수 있다. 추론에는 약 100 ms가 걸리며, 저자들은 이를 RealSense D435i와 Robotiq 2F-85 그리퍼를 갖춘 KUKA LBR iiwa에서 실행한다.

문제

이미지나 점군에서 작동하는 기존 어포던스 검출기는 고정된 어포던스 레이블 집합으로 학습되므로, 로봇은 새로운 주석 없이는 새 레이블을 요청할 수 없다. 이미지 기반 검출기는 2D 결과를 3D로 끌어올리는 추가 단계도 필요하며, 이전의 원샷 또는 퓨샷 어포던스 방법도 여전히 주석이 달린 예제가 필요하고 2D 이미지에서만 작동한다.

제안 방법

OpenAD는 PointNet++ 백본으로 2048개 입력 점 각각에 대해 512차원(512-D) 임베딩을 생성하고, 각 어포던스 레이블을 고정된 CLIP ViT-B/32 텍스트 인코더로 인코딩한다. 모든 점 임베딩과 모든 레이블 임베딩 사이의 코사인 유사도를 학습 가능한 온도로 스케일링하여, 주어진 레이블들에 대한 점별 softmax를 얻는다. 학습에는 클래스 가중 음의 로그 우도 손실을 사용한다. 추론 시에는 어떤 텍스트든 레이블로 넘길 수 있다.

핵심 통찰

점 특징을 언어 모델의 텍스트 임베딩과 정렬하면, 의미적으로 관련된 보지 못한 레이블도 주석 예제 하나 없이 올바른 영역에 대응된다
오픈 어휘 결과에는 텍스트 인코더 선택이 중요하다: 두 백본 모두에서 CLIP ViT-B/32가 mIoU에서 BERT를 앞섰지만, 폐집합(closed-set) 결과는 거의 같았다
언어 기반 헤드를 추가해도 폐집합 정확도는 손해를 보지 않는다: OpenAD는 전용 점군 분할 네트워크와 1포인트 미만의 차이를 유지한다
각 점은 현재 레이블 집합에서 가장 잘 맞는 레이블을 취하므로, 더 구체적인 레이블(예: 'contain' 다음에 'grasp')을 추가하면 해당 점들의 레이블이 다시 매겨진다

주요 결과

제로샷, 전체 형상(3D AffordanceNet을 37개 클래스로 다시 레이블링): mIoU 14.37, ZSLPC 9.97, 3DGenZ 6.46, TZSLPC 3.86; Acc 46.31과 mAcc 19.51로 둘 다 최고
제로샷, 부분 시점: mIoU 12.50, ZSLPC 9.52. 본문은 3.98%의 차이를 언급하지만 Table I의 수치로는 2.98포인트이다; Acc 45.25와 mAcc 17.37도 최고
폐집합 3D AffordanceNet(Table II), 전체 형상: mIoU 42.00, DGCNN 42.09, PointNet++ 41.26, Point Transformer 41.26; 최고 Acc 69.03
폐집합, 부분 시점: mIoU 41.87, DGCNN 41.93, PointNet++ 41.10, Point Transformer 40.51; 최고 Acc 69.91
절제 실험(오픈 어휘, 전체 형상): CLIP을 쓴 PointNet++ 14.37 mIoU, BERT 사용 시 10.55; CLIP을 쓴 DGCNN 10.88, BERT 사용 시 9.43
추론은 평균 약 100 ms가 걸린다; 실제 로봇 시연에는 가방을 잡고 들어 올리기, 병 감싸 쥐기, 이어폰 밀기가 포함된다

한계

저자들은 이 방법이 완전히 보지 못한 어포던스를 검출하기에는 아직 멀었다고 밝히며, 본 적 있는 물체에서의 실패 사례도 보여준다
저자들은 OpenAD가 물체가 제공하지 않는 어포던스를 찾는 오탐 사례를 보여준다(가방의 display, 전자레인지의 support, 모자의 openable)
제로샷 절대 점수는 여전히 낮으며(전체 형상 mIoU 14.37, 부분 시점 12.50), 저자들은 더 나은 비전-언어 상관(예: 교차 어텐션), 더 강한 백본, 더 큰 어포던스 데이터셋이 필요하다고 말한다
실제 로봇 실험은 성공률이 보고되지 않은 시연이다
입력은 2048개 점으로 샘플링된 단일 분할 물체이며, 로봇 파이프라인은 별도의 물체 위치 추정 단계에 의존한다

분야에 미친 영향

IROS 2023 Best Overall Paper 및 Best Student Paper 상의 통합 최종 후보 목록에 올랐으며, 인용 수는 66회이다. 논문은 저자들이 소스 코드를 공개할 것이라고 밝히지만, 라이선스된 사본에는 링크가 없다.

초록

어포던스 검출은 매우 다양한 로봇 응용 분야를 가진 어려운 문제이다. 기존의 어포던스 검출 방법은 미리 정의된 어포던스 레이블 집합에 한정되어 있어, 복잡하고 동적인 환경에서 지능형 로봇의 적응성을 제한할 가능성이 있다. 본 논문에서는 3D 점군에서 무제한의 어포던스를 검출할 수 있는 Open-Vocabulary Affordance Detection(OpenAD) 방법을 제시한다. 어포던스 텍스트와 점 특징을 동시에 학습함으로써 OpenAD는 어포던스 간의 의미적 관계를 성공적으로 활용한다. 따라서 제안하는 방법은 제로샷 검출을 가능하게 하며, 단 하나의 주석 예제 없이도 이전에 보지 못한 어포던스를 검출할 수 있다. 광범위한 실험 결과는 OpenAD가 다양한 어포던스 검출 설정에서 효과적으로 작동하며 다른 베이스라인을 큰 차이로 능가함을 보여준다. 또한 제안한 OpenAD가 빠른 추론 속도(≈100 ms)로 실제 로봇 응용에서 실용적임을 시연한다.

링크

arXiv 2303.02401: https://arxiv.org/abs/2303.02401
DOI 10.1109/IROS55552.2023.10341553: https://doi.org/10.1109/IROS55552.2023.10341553
PDF: https://arxiv.org/pdf/2303.02401v1