Neural Implicit Representation

다른 이름: neural field, implicit neural representation, INR, coordinate-based network
카테고리: Sensing › 3D maps & reconstruction
태그: 3d-representation, neural-fields, mapping, deep-learning, slam

형상, 장면 또는 지도를 공간 좌표를 점유, 부호 거리, 밀도, 색 같은 값으로 사상하는 신경망으로 저장하여, 어떤 점에서든 질의할 수 있게 하는 방법.

정의

기하를 점, 복셀 또는 메시로 명시적으로 저장하는 대신, 신경 암시적 표현(neural implicit representation)은 함수를 저장한다. 흔히 다층 퍼셉트론(MLP)인 네트워크가 3D 좌표를, 때로는 시선 방향이나 잠재 코드와 함께 받아 그 점에서의 값을 반환한다. 점유 확률(Occupancy Networks), 부호 거리(DeepSDF), 또는 부피 밀도와 색(NeRF)이다. 표면은 암시적이다. 부호 거리의 0 수준처럼 함수의 등위 집합으로 정의되며, 볼륨 렌더링이나 스피어 트레이싱으로 렌더링하거나 마칭 큐브로 메시로 추출할 수 있다.

이 표현은 연속적이므로 어떤 해상도로도 질의할 수 있고, 메모리는 장면 부피에 직접 의존하기보다 모델 크기에 의존하며, 미분 가능하므로 렌더링 손실을 통해 깊이, LiDAR 또는 이미지로부터 학습할 수 있다. 단순한 MLP는 미세한 세부를 다루기 어렵고 학습과 질의가 느리다. 위치 인코딩은 세부 표현에 도움이 되고, 하이브리드(hybrid) 표현은 학습된 특징을 조밀하거나 희소한 복셀 격자, 또는 Instant-NGP의 다중 해상도 해시 격자 같은 격자에 저장하고 작은 네트워크로 디코딩하여, 메모리를 속도 및 세부와 맞바꾼다.

로보틱스에서 신경 암시적 지도는 RGB-D 입력을 위한 iMAP과 NICE-SLAM, LiDAR를 위한 LONER 같은 SLAM 시스템에서 쓰이며, 이들은 센서 자세를 추적하면서 지도 네트워크를 온라인으로 최적화한다. 파지를 위한 물체 모델과 계획을 위한 거리 질의로도 쓰인다. 비용은 실제로 존재한다. 장면마다 학습해야 하고, 점진적 학습은 과거 키프레임을 재생하지 않으면 앞선 영역을 잊을 수 있으며, 많은 점을 평가하는 것은 테이블 조회보다 느리다. 3D 가우시안 스플래팅 같은 명시적 대안은 연속성을 일부 포기하는 대신 훨씬 빠른 렌더링을 얻는다.

중요한 이유

신경 암시적 표현은 많은 관측을 융합하고 작은 빈틈을 메우는, 압축적이고 연속적이며 미분 가능한 지도를 제공한다. 학습 기반 매핑, 렌더링, 계획이 하나의 세계 모델을 공유하게 해 주며, 그래서 SLAM, 매니퓰레이션, 시뮬레이션 연구 전반에 등장한다.

주요 응용

LiDAR 또는 RGB-D 센서로부터의 조밀 SLAM 및 매핑
파지 계획을 위한 물체 형상 모델
시뮬레이션과 데이터 생성을 위한 새로운 시점 합성
모션 계획을 위한 거리 및 충돌 질의
부분 관측으로부터의 형상 완성

실제 사례

LiDAR SLAM 시스템이 지도를 밀도를 예측하는 작은 MLP 디코더를 가진 특징 격자로 표현한다. 새 스캔마다 광선이 주어지며, 시스템은 그 광선의 일부를 따라 점을 샘플링하고, 예측된 밀도로부터 렌더링한 깊이가 측정된 거리와 일치하도록 지도를 학습시키면서 스캔 자세를 추정한다. 학습 중에는 과거 키프레임 집합을 재생하여 지도의 오래된 부분이 덮어쓰이지 않게 한다. 매핑이 끝나면 필드를 격자에서 평가하고 점검을 위해 마칭 큐브로 메시화하거나, 계획 중 거리를 위해 직접 질의한다.

흔한 오해

신경 암시적 지도에는 명시적 구조가 없다 — 대부분의 실시간 시스템은 특징 격자나 해시 테이블을 작은 네트워크와 결합하므로, 메모리는 여전히 장면 크기에 따라 늘어난다
암시적 표면은 메시로 바꿀 수 없다 — 등위 집합이므로 선택한 어떤 해상도로든 마칭 큐브로 추출할 수 있다
신경 암시적 표현은 NeRF와 같다 — NeRF는 밀도와 색을 예측하는 한 사례일 뿐이며, 점유 네트워크와 부호 거리 네트워크도 다른 사례다
연속적이라는 것은 세부가 무제한이라는 뜻이다 — 세부는 모델 용량, 입력 인코딩, 학습 데이터에 의해 제한된다

알아야 할 사람

SLAM 및 매핑 엔지니어
3D 비전 연구자
학습된 물체 모델을 사용하는 매니퓰레이션 연구자
장면 재구성을 구축하는 시뮬레이션 엔지니어

동영상

Computer Vision - Lecture 9.1 (Coordinate-based Networks: Implicit Neural Representations): Tübingen Machine Learning

위키백과

신경장

Open Source Robotics