Bird's-Eye View

• 다른 이름: BEV, top-down view
• 카테고리: Sensing › Perception outputs
• 태그: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

로봇이나 차량 주변 영역을 위에서 내려다본 격자로 표현한 것으로, LiDAR, 카메라 또는 둘 다로 만들며 3D 검출, 지도 작성, 계획에 쓰인다.

정의

조감도(bird's-eye view, BEV)는 장면을 바로 위에서 내려다본 모습으로 표현하는 것으로, 로봇이나 차량을 중심으로 지면 평면 위에 놓인 2D 격자이다. 각 셀은 단일 값이 아니라 특징을 담는다. 점유, 최대 또는 평균 점 높이, 점 밀도, LiDAR 반사 강도, 의미 클래스, 또는 학습된 특징 벡터가 그 예이다. 이 시점에서는 지면 위의 물체가 실제 크기를 유지하고 서로 겹치지 않으므로, BEV 격자는 차량과 보행자를 검출하고, 자유 공간을 추정하고, 이미 위에서 내려다본 지도 좌표계에서 작동하는 계획기에 정보를 넘기기에 편리한 곳이다.

LiDAR에서는 점들을 셀에 나누어 담아 BEV를 만든다. 수작업으로 설계한 방식은 AVOD와 MV3D 검출기에서처럼 각 셀을 여러 높이 구간 채널과 밀도, 때로는 반사 강도로 인코딩한다. PointPillars 같은 학습 기반 방식은 작은 네트워크로 각 수직 기둥 안의 점들을 특징 벡터로 인코딩해, 표준 2D 합성곱 신경망이 처리할 수 있는 의사 이미지를 만든다. 카메라에서는 이미지가 원근 투영이므로 이 시점을 구성해 내야 한다. 초기 방법은 평평한 지면을 가정하는 역원근 변환을 사용했다. 이후의 학습 기반 방법은 깊이를 추정하거나 어텐션을 사용해 이미지 특징을 3D로 들어 올린 뒤 BEV 격자 위에 스플래팅하며, 이렇게 하면 여러 카메라와 LiDAR를 하나의 공유 표현으로 융합하는 일도 간단해진다.

BEV 격자는 고도 지도(elevation map)와 다르다. 고도 지도는 보행 로봇이나 오프로드 주행을 위해 지형 높이를 저장하고, BEV는 인식을 위한 범용 하향식 특징 격자로, 보통 지면이 평평에 가까운 도로나 바닥에서 만들어진다. BEV를 편리하게 만드는 평탄화는 정보도 잃게 한다. 수직 구조가 몇 개의 채널로 축소되고, 돌출된 물체는 그 아래에 있는 것과 합쳐지며, 작거나 먼 물체는 선택한 해상도에서 아주 적은 셀만 차지할 수 있다.

중요한 이유

BEV는 자율주행과 실외 이동 로봇에서 인식을 위한 공통 작업 공간이 되었다. 검출, 추적, 지도 작성, 계획이 하나의 미터 단위 좌표계를 공유하게 하며, 여러 센서를 하나의 표현으로 융합하는 일을 훨씬 간단하게 만든다.

주요 응용

• 자율주행차를 위한 3D 물체 검출
• 다중 카메라 융합과 카메라-LiDAR 융합
• 주행 가능 영역 및 차선 분할
• 계획을 위한 점유 및 자유 공간 예측
• 차량 간에 지도를 공유하는 협력 인식

실제 사례

한 배송 로봇이 보도 주행을 위해 지붕의 LiDAR와 카메라 4대를 융합한다. 40 m 이내의 LiDAR 점들은 0.1 m 셀로 된 격자에 나뉘어 담기며, 채널은 여러 높이 구간과 점 밀도로 구성된다. 카메라 특징은 예측된 깊이 분포를 이용해 같은 격자 위로 들어 올려지고, 두 특징 맵을 이어 붙인 뒤 합성곱 헤드가 주행 가능 영역, 보행자 박스와 그 방향을 예측한다. 계획기는 같은 격자를 직접 읽는다. 팀이 시험 경로에 경사로를 추가하자, 높이 구간이 평평한 지면 평면을 기준으로 정의되어 있어서 지면이 높아지는 곳에 가짜 장애물이 나타나는 것을 발견하고, 이를 고치기 위해 셀마다 지면 높이 추정을 추가한다.

흔한 오해

• BEV 이미지는 그저 위에서 찍은 카메라 사진이다 — BEV는 구성된 미터 단위 격자로, 보통 LiDAR로 만들거나 원근 카메라 이미지를 3D로 들어 올려 만든다
• 카메라 BEV는 LiDAR BEV만큼 정밀하다 — 카메라 방법은 깊이를 추정해야 하므로 거리에 따라 위치 오차가 커진다
• BEV는 3D 장면 전체를 보존한다 — 높이가 몇 개의 채널로 압축되므로 돌출부와 쌓인 물체가 합쳐진다
• 역원근 변환은 어디서나 작동한다 — 평평한 지면을 가정하므로 지면 위에 있거나 경사면에 있는 것은 모두 왜곡된다

알아야 할 사람

• 자율주행 인식 엔지니어
• 이동 로봇 및 실외 내비게이션 개발자
• 3D 검출을 연구하는 컴퓨터 비전 연구자
• 센서 융합 엔지니어

관련 기술

• PointPillars
• Lift-Splat-Shoot
• 역원근 변환(Inverse Perspective Mapping)
• 점유 격자(Occupancy Grid)
• 복셀화(Voxelization)

관련 용어

• LIDAR
• Point Cloud
• Range Image
• Elevation Map
• Semantic Map
• Cooperative Perception

관련 프로젝트

• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)