OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

저자: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

공개 시뮬레이션 V2V 인식 데이터셋(CARLA 타운 8개와 디지털 Culver City), LiDAR 검출기 4개 × 융합 방식 4개의 벤치마크, 그리고 4096× 압축에서도 AP를 유지하는 어텐션 기반 특징 융합.

중요한 이유

데이터셋은 기록된 설정 파일과 랜덤 시드로부터 재현할 수 있으므로, 다른 사람들이 이를 다시 생성하거나 동일한 주행 상황에 센서를 추가할 수 있다. 압축 실험은 차량 간 특징 공유에 대한 구체적인 대역폭 수치를 제시한다. 4096× 압축에서 메시지 하나는 27 Mbps V2V 링크로 약 5 ms가 걸린다.

문제

단일 자율 주행 차량은 심하게 가려졌거나 멀리 있는 물체를 놓치는데, 그 물체에서 돌아오는 LiDAR 반환점이 너무 희소하기 때문이다. 차량 간 센싱 데이터 공유는 이러한 사각지대를 채울 수 있지만, 발표된 차량 간 인식 연구들은 작거나 맞춤형이거나 공개되지 않은 데이터셋을 사용했기 때문에 방법들을 서로 벤치마킹할 수 없었다.

제안 방법

저자들은 CARLA와 SUMO 위의 OpenCDA 공동 시뮬레이션 프레임워크로 OPV2V를 생성한다. CARLA 타운 8개와, 실제 차량의 데이터에 맞추어 RoadRunner로 구축한 로스앤젤레스 Culver City 디지털 타운에 걸친 73개 장면이며, 프레임당 연결된 차량은 2-7대이고 각 차량은 카메라 4대, 64채널 LiDAR, GPS/IMU를 탑재한다. PIXOR, PointPillar, SECOND, VoxelNet으로 무융합, 초기, 후기, 중간 융합을 벤치마킹하고, 공유 특징을 인코더-디코더로 압축한 뒤 같은 공간 위치에 대해 각 차량이 보유한 특징들에 대한 셀프 어텐션으로 융합하는 중간 융합 파이프라인을 제안한다.

핵심 통찰

차량 간 데이터 공유는 두 테스트 세트 모두에서 모든 검출기와 융합 전략에 대해 단일 차량 검출보다 IoU 0.7에서의 AP를 높인다. 논문은 최소 10%의 향상을 보고한다.
초기 융합은 원시 센서 측정값을 더 많이 유지하므로 일반적으로 후기 융합보다 낫다.
어텐션 기반 중간 융합은 Culver City에서 초기 융합이 더 높은 PIXOR를 제외하고, 네 검출기 모두에 대해 두 테스트 세트에서 가장 좋은 AP를 낸다.
밀집된 교차로에서 연결된 차량 수가 늘수록 AP가 증가하지만, 네 개의 시점이 이미 대부분의 사각지대를 덮기 때문에 4대 이후에는 증가가 완만해진다.
모든 모델은 CARLA 타운보다 Culver City 디지털 타운에서 점수가 낮으며, 저자들은 이를 더 현실적이고 혼잡한 출퇴근 시간대 교통과 그로 인한 도메인 격차 때문이라고 본다.

주요 결과

데이터셋: 장면 73개, 프레임 11,464개(연결된 모든 차량을 세면 약 40K), 주석이 달린 3D 차량 박스 232,913개, 249.4 GB, 프레임당 평균 연결 차량 2.89대(최소 2, 최대 7). v1 초록은 프레임 111,464개라고 적고 있어 v1 본문, Table I, 6764/1981/2719 분할의 11,464와 상충한다. 현재 arXiv 초록은 11,464라고 적는다.
어텐션 기반 중간 융합을 적용한 VoxelNet: IoU 0.5 / 0.7에서 AP가 CARLA 타운 0.906 / 0.864, Culver City 0.854 / 0.775이며, 융합 없이는 0.688 / 0.526과 0.605 / 0.431이다.
PointPillar의 중간 융합: 0.908 / 0.815(CARLA), 0.854 / 0.735(Culver City). SECOND: 0.893 / 0.826과 0.875 / 0.760.
예외: Culver City에서 PIXOR는 초기 융합으로 0.734 / 0.558, 중간 융합으로 0.716 / 0.549에 도달한다.
4096× 압축률에서 VoxelNet 중간 융합은 IoU 0.7에서 AP가 약 3% 감소하지만 여전히 초기 및 후기 융합을 능가한다. 전송 시간은 27 Mbps에서 약 5 ms이다.
16개 모델 전체를 학습하는 데 RTX 3090 GPU 4개로 14일이 걸렸다. 학습/검증/테스트 분할은 6764/1981/2719 프레임이다.

한계

데이터셋은 현재 차량 검출 작업만 다룬다. 더 많은 작업과 센서 구성은 향후 과제로 남는다.
데이터는 시뮬레이션이다. 실제 환경과의 연결 고리는 디지털 타운으로 재현한 Culver City 장면 4개의 약 600 프레임이며 검증에만 사용되고, 실제 데이터 추가는 계획일 뿐 이루어지지 않았다.
CARLA 타운에서 학습한 모델은 Culver City에서 점수가 낮아, 현실적인 교통에 대한 도메인 격차를 보여 준다.
벤치마크는 LiDAR 검출기만 사용한다. 멀티모달 융합과 차량-인프라 간 설정은 향후 과제로 남는다.
5 ms 전송 수치는 인용된 V2V 프로토콜 개요에서 가져온 300 m에서의 27 Mbps 브로드캐스트 속도로 계산한 것이며, 측정한 값이 아니다.

분야에 미친 영향

인용 652회. 논문은 데이터셋 생성 코드를 OpenCDA 저장소(데이터 수집 브랜치)에 공개하고, 데이터셋, 벤치마크 방법, 코드를 프로젝트 페이지에 공개할 것이라고 밝힌다. 공식 프로젝트 페이지는 데이터와 OpenCOOD 코드 저장소로 연결된다.

초록

자율 주행 기술에서 인식 성능을 높이기 위해 차량 간(Vehicle-to-Vehicle) 통신을 활용하는 것이 최근 상당한 주목을 받고 있다. 그러나 알고리즘을 벤치마킹하기에 적합한 공개 데이터셋이 없어 협력 인식 기술을 개발하고 평가하기 어려웠다. 이를 위해 우리는 차량 간 인식을 위한 최초의 대규모 공개 시뮬레이션 데이터셋을 제시한다. 이 데이터셋은 CARLA의 8개 타운과 로스앤젤레스 Culver City의 디지털 타운에서 수집한 70개 이상의 흥미로운 장면, 11,464개의 프레임, 232,913개의 주석이 달린 3D 차량 바운딩 박스를 포함한다. 이어서 최신 LiDAR 검출 알고리즘과 함께 여러 정보 융합 전략(즉, 초기, 후기, 중간 융합)을 평가하기 위해 총 16개의 모델을 구현한 종합 벤치마크를 구축한다. 또한 연결된 여러 차량의 정보를 집계하는 새로운 Attentive Intermediate Fusion 파이프라인을 제안한다. 실험 결과, 제안한 파이프라인은 기존 3D LiDAR 검출기와 쉽게 통합될 수 있으며 큰 압축률에서도 뛰어난 성능을 달성한다. 더 많은 연구자가 차량 간 인식을 연구하도록 장려하기 위해, 데이터셋, 벤치마크 방법, 모든 관련 코드를 https://mobility-lab.seas.ucla.edu/opv2v/ 에 공개할 예정이다.

링크

arXiv 2109.07644: https://arxiv.org/abs/2109.07644
DOI https://doi.org/10.1109/icra46639.2022.9812038: https://doi.org/https://doi.org/10.1109/icra46639.2022.9812038
PDF: https://arxiv.org/pdf/2109.07644v1
코드: https://github.com/DerrickXuNu/OpenCOOD
프로젝트 페이지: https://mobility-lab.seas.ucla.edu/opv2v/