Bird's-Eye View

• 別名: BEV, top-down view
• カテゴリ: Sensing › Perception outputs
• タグ: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

LiDAR、カメラ、またはその両方から構築される、ロボットや車両の周囲を上から見たグリッド表現。3D 検出、マッピング、プランニングに使われる。

定義

鳥瞰図（bird's-eye view、BEV）は、シーンを真上から見たものとして、ロボットや車両を中心とする地面上の 2D グリッドで表現する。各セルは単一の値ではなく特徴を保持する。占有状態、点の最大高さまたは平均高さ、点の密度、LiDAR の反射強度、セマンティッククラス、あるいは学習された特徴ベクトルである。この視点では地面上の物体は実世界の大きさを保ち、互いに重ならないため、BEV グリッドは車両や歩行者の検出、走行可能な空間の推定、そしてもともと上から見た地図座標系で動作するプランナーへの情報の受け渡しに都合がよい。

LiDAR からは、点をセルに振り分けることで BEV を構築する。人手で設計した方式では、AVOD や MV3D の検出器のように、各セルを複数の高さスライスのチャネルと密度、場合によっては反射強度で符号化する。PointPillars のような学習ベースの方式では、小さなネットワークを使って各垂直の柱に含まれる点を特徴ベクトルに符号化し、標準的な 2D 畳み込みネットワークで処理できる疑似画像を作る。カメラの場合、画像は透視投影であるため、この視点を構成する必要がある。初期の手法は、平坦な地面を仮定する逆透視変換を使っていた。その後の学習ベースの手法は、深度を推定するかアテンションを使って画像特徴を 3D に持ち上げ、BEV グリッド上にスプラットする。これにより、複数のカメラと LiDAR を 1 つの共通表現に融合することも容易になる。

BEV グリッドは標高マップとは異なる。標高マップは脚移動や不整地走行のために地形の高さを保持するのに対し、BEV は知覚のための汎用的な俯瞰特徴グリッドであり、通常は地面がほぼ平坦な道路や床の上で構築される。BEV を便利にしている平坦化は情報の損失も伴う。垂直方向の構造は少数のチャネルに縮約され、張り出した物体はその下にあるものと統合され、小さな物体や遠くの物体は選んだ解像度ではごく少数のセルしか占めないことがある。

重要な理由

BEV は、自動運転や屋外の移動ロボットにおける知覚の共通の作業空間となっている。検出、追跡、マッピング、プランニングが 1 つの計量的な座標系を共有でき、複数のセンサーを単一の表現に融合するのがはるかに簡単になる。

主な用途

• 自動運転車のための 3D 物体検出
• マルチカメラ融合とカメラ-LiDAR 融合
• 走行可能領域と車線のセグメンテーション
• プランニングのための占有と自由空間の予測
• 車両間で地図を共有する協調知覚

実際の使われ方

ある配送ロボットが、歩道でのナビゲーションのために、ルーフ上の LiDAR 1 台とカメラ 4 台を融合する。40 m 以内の LiDAR 点は 0.1 m のセルからなるグリッドに振り分けられ、複数の高さスライスと点密度のチャネルをもつ。カメラの特徴は予測した深度分布を使って同じグリッド上に持ち上げられ、2 つの特徴マップを連結した後、畳み込みヘッドが走行可能領域、歩行者のバウンディングボックスとその向きを予測する。プランナーは同じグリッドを直接読み取る。チームがテストルートにスロープを加えると、地面が高くなる場所に誤った障害物が現れることがわかる。高さスライスが平坦な地面を基準に定義されていたためであり、修正のために各セルの地面高さの推定を加える。

よくある誤解

• BEV 画像は上空から撮ったカメラ写真にすぎない — 構成された計量的なグリッドであり、通常は LiDAR から、あるいは透視投影のカメラ画像を 3D に持ち上げて構築される
• カメラによる BEV は LiDAR による BEV と同じくらい精密である — カメラの手法は深度を推定しなければならないため、位置の誤差は距離とともに大きくなる
• BEV は 3D シーン全体を保持している — 高さは少数のチャネルに圧縮されるため、張り出しや積み重なった物体は統合されてしまう
• 逆透視変換はどこでも使える — 平坦な地面を仮定しているため、地面より上にあるものや斜面上のものは歪む

知っておくべき人

• 自動運転の知覚エンジニア
• 移動ロボットと屋外ナビゲーションの開発者
• 3D 検出に取り組むコンピュータビジョンの研究者
• センサーフュージョンのエンジニア

関連技術

• PointPillars
• Lift-Splat-Shoot
• 逆透視変換（Inverse Perspective Mapping）
• 占有グリッド（Occupancy Grid）
• ボクセル化（Voxelization）

関連用語

• LIDAR
• Point Cloud
• Range Image
• Elevation Map
• Semantic Map
• Cooperative Perception

関連プロジェクト

• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)