Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation

저자: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, Phillip Isola · CoRL 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

F3RM은 2D CLIP 또는 DINO 특징을 3D NeRF 특징 필드로 증류하여, 로봇이 작업당 시연 두 번으로 6-DOF 파지와 배치를 추론하고 자유 텍스트로 이름 붙인 물체를 집을 수 있게 한다.

중요한 이유

이 방법은 특징 필드 전체에 대해 작동하므로, 비전 모델의 미세 조정도, 분할 마스크나 물체 자세 가정도 필요 없다. 저자들은 더 새로운 비전-언어 모델을 파이프라인에 꽂는 데 재학습이나 새 시연 없이 몇 분의 엔지니어링이면 된다고 보고한다.

문제

사전 학습된 2D 이미지 모델은 풍부한 의미 지식을 갖고 있지만, 파지와 배치에는 2D 특징에 없는 정확한 3D 기하가 필요하다. 논문은 물체가 시연된 것과 형상, 크기, 자세, 재질이 다른 어수선한 장면에서, 몇 번의 시연이나 텍스트 설명만으로 로봇이 처음 보는 물체를 어떻게 집을 수 있는지를 묻는다.

제안 방법

로봇은 셀카봉에 단 RGB 카메라로 테이블을 스캔하고(이미지 50장), DINO ViT 또는 CLIP의 조밀한 특징도 렌더링하는 NeRF를 학습한다; CLIP 패치 특징은 언어와의 정렬이 유지되도록 MaskCLIP 재파라미터화로 추출한다. 6-DOF 그리퍼 자세는 그리퍼 좌표계의 질의점 100개에서 점유도 가중 특징 필드를 샘플링하여 인코딩하며, 자세는 복셀 사전 필터링과 두 시연의 평균 임베딩에 대한 Adam 최적화로 찾는다. 텍스트 명령의 경우, CLIP 텍스트 임베딩이 가장 가까운 시연을 검색하고 질의와 일치하는 영역 쪽으로 자세 비용에 가중치를 준다.

핵심 통찰

• DINO와 CLIP 특징 필드는 상호 보완적이다: DINO는 부품 수준 기하는 잘 잡지만 비슷하게 생긴 방해물에 혼동되고 색에 과적합하는 경향이 있으며, CLIP은 기하보다 의미를 우선한다: CLIP 실패 27건 중 21건, DINO 실패 19건 중 7건이 파지 회전 또는 병진 오차에서 비롯되었다.
• MaskCLIP으로 끝에서 두 번째 층에서 추출한 조밀한 CLIP 특징은 텍스트 인코더와의 정렬을 유지하므로, CLIP을 미세 조정하지 않고도 3D 특징 필드에서 언어 질의가 작동한다.
• NeRF 점유도(alpha)로 특징에 가중치를 주면, 하나의 질의점 표현이 물체 분할이나 물체 자세 없이 국소 기하와 의미를 모두 인코딩한다.
• 머그잔과 드라이버에 대한 시연이, 대상을 텍스트로 지정했을 때 그릇, 계량 비커, 테이프 롤, 화이트보드 마커, 식기 같은 새로운 범주로 전이되었다.
• 언어 유도 실패의 대부분(19건 중 13건)은 CLIP이 단어 주머니(bag-of-words)처럼 동작하여 질의의 관계, 속성, 서수 정보를 놓친 데서 비롯되었다.

주요 결과

• 작업당 두 번의 시연으로 하는 파지 및 배치, 각 10개 테스트 장면의 다섯 작업: CLIP ResNet 특징 39/50, CLIP ViT 34/50, DINO ViT 31/50.
• 같은 작업에서의 베이스라인: NeRF 밀도 27/50, RGB 21/50, 중간 NeRF 특징 9/50, MIRA 15/50.
• 13개 탁상 장면에서의 언어 유도 조작: 질의 50개 중 31개 성공; 범주별로 색 7/10, 재질 7/10, 관계 4/10, 일반 4/10, 분포 밖 물체 범주 9/10.
• NeRF와 특징 필드 피팅은 NVIDIA RTX 3090에서 최대 90 s(평균 80 s)가 걸리고, 장면당 60–120 MB가 필요하다. 서펠 기반 ConceptFusion은 장면당 50 GB에서 수백 GB가 필요하다.
• 파지 자세 최적화는 평균 15 s가 걸린다; 시점 수 절제 실험에서, 스캔한 이미지 50장 중 약 20장 아래로 내려가면 품질이 급격히 떨어진다.

한계

• 저자들이 밝힌 바: 자동 스캔 및 모델링 파이프라인은 장면당 몇 분이 걸리며 시스템의 주요 병목이다.
• 저자들은 언어 유도 성공률 31/50이 산업적 사용에는 실용적 수준과 거리가 멀다고 언급한다.
• CLIP의 단어 주머니 같은 동작이 "black screwdriver"나 "mug on a can of spam" 같은 질의에서 실패를 일으켰고, 텍스트로 시연을 검색하는 데 때때로 프롬프트 엔지니어링이 필요했다.
• 질의점 분포는 작업마다 수작업으로 조정되며, 샘플링한 다섯 개의 질의점 집합 중 최선의 것을 개발용 장면에서 고른다.
• 언어 유도 실패 19건 중 6건은 예측된 파지의 회전 또는 병진 오차에서 비롯되었다.

분야에 미친 영향

CoRL 2023 Best Paper Award 수상작. 공식 프로젝트 페이지는 F3RM 코드 저장소를 링크한다.

초록

자기 지도 및 언어 지도 이미지 모델은 일반화에 중요한 세계에 대한 풍부한 지식을 담고 있다. 그러나 많은 로봇 작업은 3D 기하에 대한 세밀한 이해를 필요로 하며, 이는 2D 이미지 특징에 흔히 결여되어 있다. 이 연구는 증류된 특징 필드를 활용하여 정확한 3D 기하와 2D 파운데이션 모델의 풍부한 의미 정보를 결합함으로써 로봇 조작에서의 이 2D-3D 간극을 메운다. 우리는 이러한 강한 공간적, 의미적 사전 정보를 활용해 보지 못한 물체에 대한 실환경 일반화를 달성하는 6-DOF 파지 및 배치를 위한 퓨샷 학습 방법을 제시한다. 비전-언어 모델인 CLIP에서 증류한 특징을 사용하여, 자유 텍스트 자연어로 조작할 새로운 물체를 지정하는 방법을 제시하고, 이것이 보지 못한 표현과 새로운 물체 범주로 일반화하는 능력을 시연한다.

링크

• arXiv 2308.07931: https://arxiv.org/abs/2308.07931
• PDF: https://arxiv.org/pdf/2308.07931v1
• 코드: https://github.com/f3rm/f3rm
• 프로젝트 페이지: https://f3rm.csail.mit.edu/