Joint 3D Proposal Generation and Object Detection from View Aggregation

저자: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

제안 네트워크와 검출기 모두에서 LIDAR 조감도 특징과 이미지 특징을 융합하고, 명시적인 방향 벡터를 회귀해 ±π 방향 오류를 제거하는 2단계 3D 검출기.

중요한 이유

제안 단계에서 이미지 특징을 융합하면 LIDAR만 쓰는 제안 단계가 놓치는 클래스인 보행자와 자전거 탑승자의 재현율이 높아진다. 네트워크는 2 GB의 GPU 메모리로 프레임당 0.08 s에 동작하며, 저자들은 이를 차량에서 사용하기에 적합하다고 제시하고, 다른 카메라와 LIDAR를 갖춘 자신들의 차량에서 실행한다.

문제

희소한 LIDAR 조감도 맵에서 보행자는 약 8 × 6 픽셀만 차지하므로, 다운샘플링 후에는 특징 맵의 픽셀 하나가 작은 물체를 제안하기에는 너무 적은 정보를 담는다. MV3D 같은 이전 3D 검출기는 또한 박스 꼭짓점으로부터 방향을 추론하는데, 이로 인해 방향이 ±π만큼 모호하게 남으며, KITTI 3D 지표는 그 오류에 벌점을 주지 않는다.

제안 방법

VGG16 기반 특징 추출기 두 개가 6채널 BEV 맵과 RGB 이미지로부터 전체 해상도 특징 맵을 만든다. 영역 제안 네트워크는 1 × 1 합성곱으로 메모리를 줄인 뒤 각 3D 앵커에 대해 두 시점 모두에서 특징을 크롭하고 크기를 조정하며, 요소별 평균으로 이를 융합한다. 2단계 네트워크는 네 꼭짓점과 두 높이로 이루어진 10개 값 인코딩으로 박스를 회귀하고, 올바른 방향을 고르는 데 쓰이는 명시적인 (cos θ, sin θ) 방향 벡터도 회귀한다.

핵심 통찰

제안 네트워크에 이미지 특징을 추가하는 것은 작은 클래스에서 가장 중요하다. 보행자와 자전거 탑승자의 재현율은 높아지지만, BEV 맵에서 충분한 면적을 차지하는 자동차에서는 이득이 없다
단일 픽셀에 대한 특징 크롭은 작은 물체에 충분하지 않다. 1픽셀 크롭은 자동차의 9.5%에 비해 보행자는 26.9%, 자전거 탑승자는 32.6% AP를 떨어뜨렸다
박스 꼭짓점만으로 추론한 방향은 ±π만큼 모호하며, 명시적인 방향 벡터가 이를 해소한다
KITTI의 AP 지표는 IoU를 임계값 이상으로 유지하는 방향 뒤집힘에 벌점을 주지 않으므로, 저자들은 Average Heading Similarity(AHS)를 제안한다
크롭 전에 1 × 1 합성곱을 적용하면 앵커 특징 크롭의 시점별 메모리가 256× 줄어, 수만 개의 앵커가 몇 메가바이트에 들어간다

주요 결과

KITTI 검증, 자동차, moderate: 3D AP 74.19%, AHS 73.97%로, MV3D의 AP 72.35%, AHS 43.75%와 비교된다(Table 1). 본문은 MV3D 대비 AHS 향상을 30.28%(moderate)와 27.54%(hard)로, 서론은 자동차 클래스에서 29.46%로 제시한다
KITTI 테스트, 자동차 3D AP(easy/moderate/hard): 71.41 / 62.87 / 56.61, MV3D는 71.09 / 62.35 / 55.12. 보행자 29.45 / 23.42 / 22.22, 자전거 탑승자 35.94 / 29.04 / 26.44(Table 2)
제안 재현율: 자동차에서 제안 10개로 3D 재현율 86%, 50개로 91%이며, MV3D는 300개가 필요하다고 보고했다. 3DOP와 Mono3D의 최대 자동차 재현율은 73.87%와 65.74%
융합 RPN 대 BEV 전용 RPN: 최종 검출에서 보행자 AP +6.9%, 자전거 탑승자 +9.4%(Table 3)
파라미터 약 3807만 개(MV3D의 약 37%), 프레임당 1862.8억 FLOPs, TITAN Xp에서 프레임당 0.08 s(MV3D보다 4.5× 빠름), 추론 시 GPU 메모리 2 GB
순위: 서론은 AVOD가 제출 당시 KITTI의 세 클래스 모두에서 3위였다고 하고, 결과 절은 현재 3D 및 BEV AP에서 세 클래스 모두 1위라고 한다

한계

KITTI 테스트 서버는 AHS를 계산하지 않으므로, 방향 측면의 이점은 검증 분할에서만 제시된다
당시에는 보행자와 자전거 탑승자의 3D 결과를 제시한 공개 방법이 없었으므로, 3D 검출 비교는 자동차에 대해서만 이루어졌다
테스트 세트에서 MV3D와의 AP 차이는 작고(moderate와 hard에서 0.52%와 1.49%), easy 자동차의 BEV AP는 MV3D가 더 높다(86.02 대 85.51)
보행자와 자전거 탑승자의 3D AP는 자동차 AP보다 훨씬 낮다(moderate 테스트에서 23.42와 29.04 대 62.87)
저자들의 차량에서의 배치는 정성적으로만 제시된다

분야에 미친 영향

인용 1739회. 논문은 정성적 결과 영상 링크를 제공하며, 코드나 데이터 공개는 명시하지 않는다.

초록

우리는 자율주행 시나리오를 위한 Aggregate View Object Detection 네트워크인 AVOD를 제시한다. 제안하는 신경망 아키텍처는 LIDAR 점군과 RGB 이미지를 사용해 두 하위 네트워크, 즉 영역 제안 네트워크(RPN)와 2단계 검출기 네트워크가 공유하는 특징을 생성한다. 제안하는 RPN은 다중 모달 특징 융합을 수행할 수 있는 새로운 아키텍처를 사용해 도로 장면에서 여러 물체 클래스에 대한 신뢰할 수 있는 3D 물체 제안을 생성한다. 이 제안을 사용해 2단계 검출 네트워크는 정확한 방향성 3D 바운딩 박스 회귀와 범주 분류를 수행하여 3D 공간에서 물체의 크기, 방향, 분류를 예측한다. 제안하는 아키텍처는 KITTI 3D 물체 검출 벤치마크 [10]에서 최고 수준의 결과를 내면서도 적은 메모리 사용량으로 실시간으로 동작하는 것으로 나타나, 자율주행 차량에 배치하기에 적합한 후보가 된다.

링크

arXiv 1712.02294: https://arxiv.org/abs/1712.02294
DOI https://doi.org/10.1109/iros.2018.8594049: https://doi.org/https://doi.org/10.1109/iros.2018.8594049
PDF: https://arxiv.org/pdf/1712.02294v1