Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

저자: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

장면의 LERF를 만들고, DINO 특징으로 이름 붙인 물체를 마스킹한 뒤 그 마스크 안에서만 부품 이름을 질의하여 GraspNet 파지 후보의 순위를 다시 매김으로써, 로봇이 이름 붙인 부품을 잡게 한다.

중요한 이유

이 방법은 부품 레이블, 어포던스 데이터셋, 시연, 미세 조정이 필요 없으며, CLIP을 제로샷으로 쓰기 때문에 'ethernet dongle', 'cork', 'martini glass' 같은 롱테일 질의도 다룬다. 부품 질의는 평범한 텍스트이므로, 언어 모델이 'cut the steak' 같은 작업 설명으로부터 물체와 부품을 제공할 수 있다.

문제

칼은 손잡이로, 선글라스는 테로 잡는 것처럼 많은 물체는 특정 부품으로 파지해야 하지만, 학습 기반 파지 계획기는 대개 기하만 고려하고 물체가 들어 올려졌는지로 성공을 판단한다. 이전의 작업 지향 파지 방법은 물체 부품이나 어포던스 데이터셋을 수집하는데, 이는 많은 물체로 확장하기 어렵다. LERF만으로는 물체에서 가장 식별력 있는 영역만 강조되며, CLIP은 단어 주머니처럼 동작하므로 'mug'와 'mug handle'이 거의 같은 영역을 활성화한다.

제안 방법

손목 카메라가 반구형 경로로 약 60장의 이미지를 촬영하고, Language Embedded Radiance Field(Nerfstudio의 Nerfacto를 기반으로 CLIP과 DINO 특징을 NeRF로 증류한 것)를 약 78초 만에 학습한다. 물체 질의로 물체의 위치를 찾고, DINO 특징 유사도를 플러드 필(flood-fill)하여 3D 물체 마스크를 키운 뒤, 그 마스크 안의 점에서만 부품 질의를 평가한다(조건부 LERF 질의). 가상 카메라 반구에서 생성한 GraspNet 파지 후보는 0.95 × 의미 점수(파지 부피 내 부품 관련도의 중앙값) + 0.05 × GraspNet 신뢰도로 순위를 매긴다.

핵심 통찰

DINO 특징에서 얻은 3D 물체 마스크가 LERF의 CLIP 관련도에 없는 물체 그룹화를 제공하므로, 부품 질의가 길쭉한 물체를 포함해 물체 전체를 커버한다.
부품 질의를 물체 마스크 안으로 제한하는 것(조건부 질의)이 CLIP의 단어 주머니(bag-of-words) 같은 동작을 상쇄한다.
의미 점수가 순위를 지배해야 한다(가중치 0.95): 물체 마스크 위에서 기하적 신뢰도가 가장 높은 파지는 18%의 경우에만 올바른 부품에 놓인다.
부품에는 다중 스케일 CLIP 특징이 중요하다: 점마다 CLIP 임베딩 하나를 쓰는 ConceptFusion은 올바른 물체는 비슷한 빈도로 고르지만 올바른 부품은 훨씬 덜 고른다.
주요 실패 유형은 시각적으로 비슷한 부품(찻주전자 주둥이 대 손잡이), 작은 기하(찻잔 손잡이, 분무기 방아쇠), 가까운 범주(스테이크 나이프 대 빵 칼), 프롬프트 표현('bottle neck'이 'neck'보다 위치를 더 잘 찾음)이다.

주요 결과

사람이 쓴 질의를 사용한 부품 지향 파지(프롬프트 49개, 장면 12개, Table 1): 올바른 물체 96%, 올바른 부품 82%, 올바른 부품으로 들어 올리기 성공 69%. 초록과 결론은 올바른 부품 비율을 81%로 제시한다.
실제 물체 수는 초록과 Section 5에서는 31개로, 서론과 작업 지향 결과에서는 39개로 제시된다.
NeRF 깊이를 쓴 ConceptFusion: 올바른 물체 77%, 올바른 부품 39%(실제 시행 없음); 프롬프트 20개와 장면 5개에서의 단일 시점 베이스라인: Semantic Abstraction 물체 80% / 부품 35%, OWL-ViT 물체 85% / 부품 50%.
ChatGPT가 작업 설명으로부터 물체와 부품을 고를 때(답변 7개에 대한 다수결), Table 3은 올바른 물체 96%, 올바른 부품 71%를 보고한다; Results 본문은 올바른 프리미티브 선택에 92%를 제시하고, 71%를 올바른 물체 성공률로 기술한다.
소요 시간: 장면 촬영 30 s, 2k 스텝까지 LERF 학습 78 s, LERF-TOGO 질의 10 s이며, 전처리는 촬영 중 NVIDIA 4090 GPU 세 장에 분산된다.

한계

저자들은 종단 간 과정에 몇 분이 걸려 시간에 민감한 응용에는 비실용적일 수 있다고 밝힌다.
서로 붙어 있는 전경 물체들의 그룹은 분리되지 않고 DINO 플러드 필 마스크로 병합된다(저자들이 밝힘).
물체 질의가 똑같은 머그잔들이나 일반적인 'mug'처럼 여러 물체와 일치하면 시스템은 임의로 하나를 고른다(저자들이 밝힘).
'mug next to the plate'나 'biggest mug' 같은 지시 또는 비교 표현은 다루지 않는다(저자들이 밝힘).
각 장면은 한 번 재구성된 뒤 표현을 갱신하지 않고 물체를 하나씩 제거한다; 부품 선택은 표현에 민감하며, LLM이 생성한 부품 질의는 올바른 부품 71%로 사람의 질의 82%에 못 미친다.

분야에 미친 영향

CoRL 2023 Best Paper / Best Student Paper Award 최종 후보이며 인용 수는 159회이다. 저자들은 lerftogo.github.io 를 통해 코드, 데이터, 부록을 제공하며, 이 사이트는 GitHub 저장소와 데이터 폴더를 링크한다.

초록

물체를 특정 하위 부품으로 파지하는 것은 안전과 후속 작업 수행에 흔히 결정적이다. 우리는 자연어 질의가 주어졌을 때 비전-언어 모델을 제로샷으로 사용하여 물체 위의 파지 분포를 출력하는 LERF-TOGO(Language Embedded Radiance Fields for Task-Oriented Grasping of Objects)를 제안한다. 이를 위해 먼저 장면의 LERF를 구성하는데, 이는 CLIP 임베딩을 텍스트로 질의할 수 있는 다중 스케일 3D 언어 필드로 증류한 것이다. 그러나 LERF는 물체 경계에 대한 감각이 없어서, 그 관련도 출력은 흔히 물체 위에 불완전한 활성화를 돌려주며 이는 파지에 충분하지 않다. LERF-TOGO는 DINO 특징으로 3D 물체 마스크를 추출한 뒤 이 마스크에 대해 조건부로 LERF를 질의하여 물체 위의 의미 분포를 얻고, 이를 사용해 기성 파지 계획기의 파지 후보 순위를 매김으로써 이러한 공간적 그룹화의 부재를 완화한다. 31개의 실제 물체에서 LERF-TOGO의 작업 지향 물체 부품 파지 능력을 평가한 결과, 시행의 81%에서 올바른 부품의 파지를 선택하고 69%에서 성공적으로 파지했다. 코드, 데이터, 부록, 세부 사항은 lerftogo.github.io 에서 볼 수 있다.

링크

arXiv 2309.07970: https://arxiv.org/abs/2309.07970
DOI 10.48550/arXiv.2309.07970: https://doi.org/10.48550/arXiv.2309.07970
PDF: https://proceedings.mlr.press/v229/rashid23a/rashid23a.pdf
코드: https://github.com/lerftogo/lerftogo
프로젝트 페이지: https://lerftogo.github.io/