Event Camera

• 又称: dynamic vision sensor, DVS, neuromorphic camera, silicon retina
• 类别: Sensing › Exteroceptive
• 标签: computer-vision, sensors, neuromorphic, high-speed-perception, drones

一种视觉传感器，其像素独立地把亮度变化报告为带时间戳的事件，而不是输出完整的帧，从而具有极精细的时间分辨率、高动态范围且没有运动模糊。

定义

事件相机（Event camera）不以固定帧率采集图像。每个像素独立工作，当它所看到的光强的对数自上一次事件以来的变化超过设定阈值时，就触发一个事件。一个事件携带像素坐标、一个微秒级分辨率的时间戳，以及一个表示亮度是升高还是降低的极性。输出是一个异步流，其速率取决于场景变化的多少：静止相机前的静止场景几乎不产生输出，而快速运动会产生极高的事件速率。

第一种被广泛使用的此类传感器是 Lichtsteiner、Posch 和 Delbruck（2008）的动态视觉传感器（DVS），其灵感来自视网膜对变化作出响应的方式。后来的设计如 DAVIS 还能从同一像素阵列读出常规的强度帧，而 ATIS 类传感器则增加了逐像素的强度测量。由于每个像素响应的是相对于自身近期历史的对数强度，事件相机能同时处理非常亮和非常暗的区域；又由于不存在统一的曝光时间，快速运动不会使输出变得模糊。与高帧率运行的帧相机相比，其延迟和功耗也较低。

代价是标准的计算机视觉算法无法直接套用。方法要么逐个处理事件，例如在逐事件滤波器中；要么在短时间窗内把事件累积成事件帧、时间曲面或体素网格，再送入常规的或基于学习的处理流程。事件相机噪声较大，对市电供电灯具的闪烁敏感，分辨率通常低于帧相机，并且主要对相对于传感器运动的边缘作出响应，因此无纹理区域以及沿边缘方向的运动几乎不产生信号。它们被用于高速跟踪、快速旋转下的视觉里程计，以及低光照或高对比度场景，通常与一台帧相机和一个 IMU 配合使用。

为何重要

快速机器人上的许多感知失效来自帧相机的运动模糊、过曝或欠曝的图像以及延迟。事件相机消除了这些失效模式，使机器人在自旋和快速机动期间，或在明暗混杂的场景中，仍能持续跟踪特征。

主要应用

• 快速运动中的视觉里程计与 SLAM
• 无人机的低延迟障碍物检测与避障
• 高速物体与特征跟踪
• 高动态范围和低光照场景中的视觉
• 光流估计

实际应用

失去一个螺旋桨的四旋翼可以通过绕竖直轴快速自旋来保持可控，但在这样的转速下，帧相机的图像会模糊，在昏暗光线下尤其如此，特征跟踪随之失效。针对这一问题的工作比较了一个基于帧的处理流程和一个使用事件相机的处理流程：事件在短时间窗内累积，在这种表示中检测和跟踪特征，再把轨迹连同 IMU 数据传给视觉惯性里程计后端。配置传感器需要用闪烁或移动的图案标定内参（静止的棋盘格不会产生事件），把时间戳与 IMU 同步，并调节对比度阈值和偏置设置，以在灵敏度和噪声之间取得平衡。室内灯光闪烁会产生虚假事件，必须在跟踪之前滤除。

常见误解

• 事件相机只是一种非常快的帧相机 — 它没有帧；每个像素异步地报告变化，因此静止场景几乎不产生输出
• 事件相机能看到场景中的一切 — 它们响应的是亮度变化，主要在运动的边缘处，因此无纹理表面以及沿边缘方向的运动几乎不产生信号
• 事件是干净的数据 — 各像素的阈值不同，背景噪声和灯光闪烁会产生虚假事件，滤波是每个实用处理流程的一部分

谁需要了解

• 从事快速移动机器人的感知工程师
• 无人机自主研究人员
• 神经形态感知方向的计算机视觉研究人员
• 状态估计工程师

相关技术

• DAVIS 传感器（DAVIS Sensor）
• 时间曲面（Time Surfaces）
• 脉冲神经网络（Spiking Neural Networks）
• 神经形态计算（Neuromorphic Computing）
• 基于事件的光流（Event-Based Optical Flow）

相关术语

• RGB Camera
• Visual-Inertial Odometry
• Visual Odometry
• IMU
• UAV

相关项目

• ArduPilot: World's most trusted open-source autopilot for drones, planes, rovers, and submarines
• PX4 Autopilot: Open-source flight control software for drones and other unmanned vehicles
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• QGroundControl: Cross-platform ground control station for mission planning and drone flight monitoring
• DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends

视频

• Event Cameras: a New Way of Sensing - Davide Scaramuzza - ICCP 2024 Keynote: UZH Robotics and Perception Group