Event Camera

• 別名: dynamic vision sensor, DVS, neuromorphic camera, silicon retina
• カテゴリ: Sensing › Exteroceptive
• タグ: computer-vision, sensors, neuromorphic, high-speed-perception, drones

画素が明るさの変化をフレーム全体ではなくタイムスタンプ付きのイベントとして個別に報告するビジョンセンサー。非常に細かい時間分解能と高いダイナミックレンジを持ち、モーションブラーがない。

定義

イベントカメラ（Event camera）は、固定のフレームレートで画像を取得しない。各画素は独立に動作し、見ている光強度の対数が直前のイベント以降に設定したしきい値を超えて変化したときにイベントを発生させる。イベントには、画素座標、マイクロ秒オーダーの分解能を持つタイムスタンプ、そして明るさが上がったか下がったかを示す極性が含まれる。出力は非同期のストリームで、そのレートはシーンがどれだけ変化するかによって決まる。静止したカメラの前の静止したシーンではほとんど何も出力されず、速い運動では非常に高いイベントレートになる。

この種のセンサーで最初に広く使われたのは、網膜が変化に反応する仕組みに着想を得た、Lichtsteiner、Posch、Delbruck（2008）の dynamic vision sensor（DVS）である。その後の DAVIS などの設計は、同じ画素アレイから通常の輝度フレームも読み出せ、ATIS 系のセンサーは画素ごとの輝度計測を追加している。各画素は自身の直近の履歴に対する対数輝度に反応するため、イベントカメラは非常に明るい領域と非常に暗い領域が共存するシーンを扱え、共通の露光時間がないため、速い運動でも出力がぶれない。高いレートで動作するフレームカメラと比べて、遅延と消費電力も小さい。

その代償として、標準的なコンピュータビジョンのアルゴリズムはそのままでは適用できない。手法は、たとえばイベントごとのフィルタのようにイベントを 1 つずつ処理するか、短い時間窓にわたってイベントを蓄積し、従来型または学習ベースのパイプラインに入力できるイベントフレーム、タイムサーフェス、ボクセルグリッドにする。イベントカメラはノイズが多く、商用電源で点灯する照明のちらつきに敏感で、一般にフレームカメラより解像度が低く、主にセンサーに対して動くエッジに反応するため、テクスチャのない領域やエッジに沿った運動ではほとんど信号が得られない。高速トラッキング、速い回転下での視覚オドメトリ、低照度や高コントラストのシーンに使われ、多くの場合フレームカメラや IMU と併用される。

重要な理由

高速なロボットにおける知覚の失敗の多くは、フレームカメラのモーションブラー、白飛びや露出不足の画像、遅延に起因する。イベントカメラはこうした故障モードを取り除くため、回転中や急な機動中、あるいは明るい光と陰が混在するシーンでも特徴を追跡し続けられる。

主な用途

• 速い運動中の視覚オドメトリと SLAM
• ドローンの低遅延な障害物検出と回避
• 高速な物体と特徴のトラッキング
• 高ダイナミックレンジや低照度のシーンでのビジョン
• オプティカルフロー推定

実際の使われ方

プロペラを 1 枚失ったクアッドロータは、鉛直軸まわりに高速で回転することで制御可能な状態を保てるが、その回転速度ではフレームカメラの画像がぶれ、特に暗い照明下では特徴トラッキングが破綻する。この問題に関する研究では、フレームベースのパイプラインとイベントカメラを使うパイプラインを比較している。イベントを短い時間窓で蓄積し、その表現の中で特徴を検出・追跡し、そのトラックを IMU データとともに視覚慣性オドメトリのバックエンドに渡す。センサーのセットアップでは、点滅するか動くパターンで内部パラメータをキャリブレーションし（静止したチェッカーボードではイベントが発生しない）、タイムスタンプを IMU と同期させ、感度とノイズのバランスを取るようにコントラストしきい値とバイアス設定を調整する。屋内照明のちらつきは偽のイベントを生むため、トラッキングの前に除去しなければならない。

よくある誤解

• イベントカメラは非常に高速なフレームカメラにすぎない — フレームは存在せず、各画素が非同期に変化を報告するため、静止したシーンではほとんど出力がない
• イベントカメラはシーンのすべてを捉える — 反応するのは明るさの変化で、主に動くエッジにおいてであるため、テクスチャのない表面やエッジに沿った運動ではほとんど信号が得られない
• イベントはきれいなデータである — しきい値は画素ごとにばらつき、背景ノイズや照明のちらつきが偽のイベントを生むため、フィルタリングはあらゆる実用的なパイプラインの一部である

知っておくべき人

• 高速に動くロボットに取り組む知覚エンジニア
• ドローンの自律化の研究者
• ニューロモルフィックセンシングに取り組むコンピュータビジョン研究者
• 状態推定エンジニア

関連技術

• DAVIS センサー（DAVIS Sensor）
• タイムサーフェス（Time Surfaces）
• スパイキングニューラルネットワーク（Spiking Neural Networks）
• ニューロモルフィックコンピューティング（Neuromorphic Computing）
• イベントベースのオプティカルフロー（Event-Based Optical Flow）

関連用語

• RGB Camera
• Visual-Inertial Odometry
• Visual Odometry
• IMU
• UAV

関連プロジェクト

• ArduPilot: World's most trusted open-source autopilot for drones, planes, rovers, and submarines
• PX4 Autopilot: Open-source flight control software for drones and other unmanned vehicles
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• QGroundControl: Cross-platform ground control station for mission planning and drone flight monitoring
• DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends

動画

• Event Cameras: a New Way of Sensing - Davide Scaramuzza - ICCP 2024 Keynote: UZH Robotics and Perception Group