Bird's-Eye View

• Também chamado: BEV, top-down view
• Categoria: Sensing › Perception outputs
• Tags: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

Uma representação em grade vista de cima da área em torno de um robô ou veículo, construída a partir de LiDAR, câmeras ou ambos, usada para detecção 3D, mapeamento e planejamento.

Definição

Uma visão de cima (BEV) (bird's-eye view) representa uma cena como vista diretamente de cima, como uma grade 2D sobre o plano do chão centrada no robô ou no veículo. Cada célula guarda características em vez de um único valor: ocupação, altura máxima ou média dos pontos, densidade de pontos, intensidade do LiDAR, classe semântica ou vetores de características aprendidos. Como os objetos sobre o chão mantêm seu tamanho real e não se sobrepõem nessa visão, uma grade BEV é um lugar conveniente para detectar veículos e pedestres, estimar o espaço livre e passar informações a um planejador que já trabalha em um referencial de mapa visto de cima.

A partir do LiDAR, uma BEV é construída agrupando os pontos em células. As versões projetadas à mão codificam cada célula com vários canais de fatias de altura, mais densidade e às vezes intensidade, como nos detectores AVOD e MV3D; versões aprendidas como PointPillars usam uma rede pequena para codificar os pontos de cada coluna vertical em um vetor de características, produzindo uma pseudoimagem que uma rede convolucional 2D padrão consegue processar. A partir de câmeras, a visão precisa ser construída, porque as imagens são projeções em perspectiva. Os primeiros métodos usavam o mapeamento de perspectiva inversa, que supõe um plano do chão plano. Métodos aprendidos posteriores estimam a profundidade ou usam atenção para elevar as características da imagem para 3D e projetá-las (splat) sobre a grade BEV, o que também facilita fundir várias câmeras e o LiDAR em uma única representação compartilhada.

Uma grade BEV é diferente de um mapa de elevação (elevation map). Um mapa de elevação armazena a altura do terreno para locomoção com pernas ou fora de estrada; uma BEV é uma grade geral de características vista de cima para percepção, normalmente construída sobre ruas ou pisos onde o chão é quase plano. O achatamento que torna a BEV conveniente também perde informação: a estrutura vertical é reduzida a poucos canais, objetos suspensos são fundidos com o que está abaixo deles, e objetos pequenos ou distantes podem cobrir muito poucas células na resolução escolhida.

Por que importa

A BEV se tornou o espaço de trabalho comum da percepção na direção autônoma e em robôs móveis de ambiente externo. Ela permite que detecção, rastreamento, mapeamento e planejamento compartilhem um mesmo referencial métrico e torna muito mais simples fundir vários sensores em uma única representação.

Principais aplicações

• Detecção de objetos 3D para veículos autônomos
• Fusão multicâmera e câmera-LiDAR
• Segmentação da área trafegável e das faixas
• Predição de ocupação e de espaço livre para o planejamento
• Percepção cooperativa que compartilha mapas entre veículos

Na prática

Um robô de entregas funde um LiDAR no teto e quatro câmeras para navegar em calçadas. Os pontos do LiDAR dentro de 40 m são agrupados em uma grade com células de 0,1 m, com canais para várias fatias de altura e para a densidade de pontos. As características das câmeras são elevadas para a mesma grade usando distribuições de profundidade previstas, e os dois mapas de características são concatenados antes que uma cabeça convolucional preveja a área trafegável, as caixas dos pedestres e suas orientações. O planejador lê diretamente a mesma grade. Quando a equipe acrescenta uma rampa ao percurso de teste, descobre que aparecem obstáculos falsos onde o chão sobe, porque as fatias de altura foram definidas em relação a um plano do chão plano, e acrescenta uma estimativa da altura do chão por célula para corrigir isso.

Equívocos comuns

• Uma imagem BEV é apenas uma foto de uma câmera aérea — é uma grade métrica construída, normalmente a partir do LiDAR ou elevando para 3D as imagens em perspectiva das câmeras
• A BEV por câmera é tão precisa quanto a BEV por LiDAR — os métodos com câmera precisam estimar a profundidade, então os erros de posição crescem com a distância
• A BEV mantém a cena 3D completa — a altura é comprimida em poucos canais, por isso saliências suspensas e objetos empilhados são fundidos
• O mapeamento de perspectiva inversa funciona em qualquer lugar — ele supõe chão plano e distorce tudo o que está acima do chão ou em rampas

Quem deve saber

• Engenheiros de percepção para direção autônoma
• Desenvolvedores de robôs móveis e de navegação em ambiente externo
• Pesquisadores de visão computacional que trabalham com detecção 3D
• Engenheiros de fusão de sensores

Tecnologias relacionadas

• PointPillars
• Lift-Splat-Shoot
• Mapeamento de perspectiva inversa (Inverse Perspective Mapping)
• Grade de ocupação (Occupancy Grid)
• Voxelização (Voxelization)

Termos relacionados

• LIDAR
• Point Cloud
• Range Image
• Elevation Map
• Semantic Map
• Cooperative Perception

Projetos relacionados

• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)