Event Camera

• 다른 이름: dynamic vision sensor, DVS, neuromorphic camera, silicon retina
• 카테고리: Sensing › Exteroceptive
• 태그: computer-vision, sensors, neuromorphic, high-speed-perception, drones

픽셀들이 전체 프레임 대신 밝기 변화를 타임스탬프가 붙은 이벤트로 독립적으로 보고하는 비전 센서로, 매우 세밀한 시간 분해능, 높은 동적 범위를 제공하고 모션 블러가 없다.

정의

이벤트 카메라(event camera)는 고정된 프레임률로 영상을 촬영하지 않는다. 각 픽셀은 독립적으로 동작하며, 자신이 보는 빛 세기의 로그가 마지막 이벤트 이후 설정된 임계값보다 많이 변하면 이벤트를 발생시킨다. 이벤트에는 픽셀 좌표, 마이크로초 수준 분해능의 타임스탬프, 그리고 밝기가 올라갔는지 내려갔는지를 나타내는 극성이 담긴다. 출력은 장면이 얼마나 변하는지에 따라 속도가 달라지는 비동기 스트림이다. 정지한 카메라 앞의 정적인 장면은 거의 아무것도 만들지 않지만, 빠른 운동은 매우 높은 이벤트율을 만든다.

이런 종류로 처음 널리 쓰인 센서는 망막이 변화에 반응하는 방식에서 영감을 얻은 Lichtsteiner, Posch, Delbruck(2008)의 동적 비전 센서(DVS)였다. DAVIS 같은 이후 설계는 같은 픽셀 배열에서 일반적인 밝기 프레임도 읽어 내며, ATIS 계열 센서는 픽셀별 밝기 측정을 추가한다. 각 픽셀이 자기 자신의 최근 과거에 대한 로그 밝기에 반응하므로, 이벤트 카메라는 매우 밝은 영역과 매우 어두운 영역이 함께 있는 장면을 다룰 수 있고, 공유된 노출 시간이 없으므로 빠른 운동이 출력을 흐리게 만들지 않는다. 지연과 전력 소비도 높은 주기로 동작하는 프레임 카메라에 비해 낮다.

대가는 표준 컴퓨터 비전 알고리즘을 그대로 적용할 수 없다는 것이다. 방법들은 예를 들어 이벤트 단위 필터처럼 이벤트를 하나씩 처리하거나, 짧은 시간 창에 걸쳐 이벤트를 누적해 이벤트 프레임, 타임 서피스, 복셀 격자로 만들어 기존 파이프라인이나 학습 기반 파이프라인에 넣는다. 이벤트 카메라는 노이즈가 많고, 상용 전원 조명의 깜빡임에 민감하며, 보통 프레임 카메라보다 해상도가 낮고, 주로 센서에 대해 상대적으로 움직이는 에지에 반응하므로, 텍스처가 없는 영역과 에지 방향을 따른 운동은 신호를 거의 주지 않는다. 고속 추적, 빠른 회전 중의 시각 주행거리계, 저조도 또는 고대비 장면에 쓰이며, 흔히 프레임 카메라 및 IMU와 함께 쓰인다.

중요한 이유

빠른 로봇에서 일어나는 많은 인식 실패는 프레임 카메라의 모션 블러, 포화되거나 노출 부족인 영상, 지연에서 비롯된다. 이벤트 카메라는 이런 실패 양상을 없애, 회전과 빠른 기동 중에도, 또는 밝은 빛과 그늘이 섞인 장면에서도 특징점을 계속 추적할 수 있게 한다.

주요 응용

• 빠른 운동 중의 시각 주행거리계와 SLAM
• 드론을 위한 저지연 장애물 검출 및 회피
• 고속 물체 및 특징점 추적
• 고동적 범위 장면과 저조도 장면에서의 비전
• 광류 추정

실제 사례

프로펠러를 하나 잃은 쿼드로터는 수직축을 중심으로 빠르게 회전함으로써 제어 가능한 상태로 남을 수 있지만, 그 회전 속도에서는 특히 어두운 조명에서 프레임 카메라의 영상이 흐려지고 특징점 추적이 무너진다. 이 문제에 관한 연구는 프레임 기반 파이프라인과 이벤트 카메라를 쓰는 파이프라인을 비교한다. 이벤트를 짧은 시간 창에 누적하고, 그 표현에서 특징점을 검출하고 추적하며, 그 추적 결과를 IMU 데이터와 함께 시각 관성 주행거리계 백엔드에 넘긴다. 센서를 준비하려면 깜빡이거나 움직이는 패턴으로 내부 파라미터를 보정하고(정적인 체커보드는 이벤트를 만들지 않는다), 타임스탬프를 IMU와 동기화하며, 감도와 노이즈의 균형을 맞추도록 대비 임계값과 바이어스 설정을 조정해야 한다. 깜빡이는 실내 조명은 추적 전에 걸러 내야 하는 가짜 이벤트를 만든다.

흔한 오해

• 이벤트 카메라는 아주 빠른 프레임 카메라일 뿐이다 — 이벤트 카메라에는 프레임이 없다. 각 픽셀이 변화를 비동기적으로 보고하므로 정적인 장면은 출력을 거의 만들지 않는다
• 이벤트 카메라는 장면의 모든 것을 본다 — 이벤트 카메라는 주로 움직이는 에지에서의 밝기 변화에 반응하므로, 텍스처가 없는 표면과 에지 방향을 따른 운동은 신호를 거의 주지 않는다
• 이벤트는 깨끗한 데이터이다 — 임계값은 픽셀마다 다르고, 배경 노이즈와 조명 깜빡임이 가짜 이벤트를 만들며, 필터링은 모든 실용 파이프라인의 일부이다

알아야 할 사람

• 빠르게 움직이는 로봇을 다루는 인식 엔지니어
• 드론 자율성 연구자
• 뉴로모픽 센싱 분야의 컴퓨터 비전 연구자
• 상태 추정 엔지니어

관련 기술

• DAVIS 센서(DAVIS Sensor)
• 타임 서피스(Time Surfaces)
• 스파이킹 신경망(Spiking Neural Networks)
• 뉴로모픽 컴퓨팅(Neuromorphic Computing)
• 이벤트 기반 광류(Event-Based Optical Flow)

관련 용어

• RGB Camera
• Visual-Inertial Odometry
• Visual Odometry
• IMU
• UAV

관련 프로젝트

• ArduPilot: World's most trusted open-source autopilot for drones, planes, rovers, and submarines
• PX4 Autopilot: Open-source flight control software for drones and other unmanned vehicles
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• QGroundControl: Cross-platform ground control station for mission planning and drone flight monitoring
• DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends

동영상

• Event Cameras: a New Way of Sensing - Davide Scaramuzza - ICCP 2024 Keynote: UZH Robotics and Perception Group