Bird's-Eye View

• También llamado: BEV, top-down view
• Categoría: Sensing › Perception outputs
• Etiquetas: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

Una representación en rejilla vista desde arriba del área que rodea a un robot o vehículo, construida a partir de LiDAR, cámaras o ambos, que se usa para la detección 3D, el mapeo y la planificación.

Definición

Una vista de pájaro (BEV) (bird's-eye view) representa una escena tal como se ve directamente desde arriba, como una rejilla 2D sobre el plano del suelo centrada en el robot o el vehículo. Cada celda contiene características en lugar de un único valor: ocupación, altura máxima o media de los puntos, densidad de puntos, intensidad LiDAR, clase semántica o vectores de características aprendidos. Como los objetos sobre el suelo conservan su tamaño real y no se superponen en esta vista, una rejilla BEV es un lugar cómodo para detectar vehículos y peatones, estimar el espacio libre y pasar información a un planificador que ya trabaja en un marco de mapa visto desde arriba.

A partir del LiDAR, una BEV se construye agrupando los puntos en celdas. Las versiones diseñadas a mano codifican cada celda con varios canales de cortes de altura más densidad y a veces intensidad, como en los detectores AVOD y MV3D; las versiones aprendidas como PointPillars usan una red pequeña para codificar los puntos de cada columna vertical en un vector de características, lo que produce una pseudoimagen que una red convolucional 2D estándar puede procesar. A partir de cámaras, la vista tiene que construirse, porque las imágenes son proyecciones en perspectiva. Los primeros métodos usaban el mapeo de perspectiva inversa, que supone un plano del suelo llano. Los métodos aprendidos posteriores estiman la profundidad o usan atención para elevar las características de la imagen a 3D y proyectarlas (splat) sobre la rejilla BEV, lo que además facilita fusionar varias cámaras y el LiDAR en una única representación compartida.

Una rejilla BEV es distinta de un mapa de elevación (elevation map). Un mapa de elevación almacena la altura del terreno para la locomoción con patas o fuera de carretera; una BEV es una rejilla general de características vista desde arriba para la percepción, normalmente construida sobre carreteras o suelos donde el terreno es casi llano. El aplanamiento que hace cómoda la BEV también pierde información: la estructura vertical se reduce a unos pocos canales, los objetos que sobresalen por encima se fusionan con lo que hay debajo de ellos, y los objetos pequeños o lejanos pueden ocupar muy pocas celdas con la resolución elegida.

Por qué importa

La BEV se ha convertido en el espacio de trabajo común de la percepción en la conducción autónoma y en los robots móviles de exterior. Permite que la detección, el seguimiento, el mapeo y la planificación compartan un mismo marco métrico y simplifica mucho la fusión de varios sensores en una única representación.

Aplicaciones clave

• Detección de objetos 3D para vehículos autónomos
• Fusión multicámara y cámara-LiDAR
• Segmentación del área transitable y de los carriles
• Predicción de ocupación y de espacio libre para la planificación
• Percepción cooperativa que comparte mapas entre vehículos

En la práctica

Un robot de reparto fusiona un LiDAR en el techo y cuatro cámaras para navegar por las aceras. Los puntos LiDAR dentro de 40 m se agrupan en una rejilla con celdas de 0,1 m, con canales para varios cortes de altura y la densidad de puntos. Las características de las cámaras se elevan a la misma rejilla usando distribuciones de profundidad predichas, y los dos mapas de características se concatenan antes de que una cabeza convolucional prediga el área transitable, las cajas de los peatones y sus orientaciones. El planificador lee directamente la misma rejilla. Cuando el equipo añade una rampa a la ruta de prueba, descubre que aparecen obstáculos falsos donde el suelo se eleva, porque los cortes de altura se definieron respecto a un plano del suelo llano, y añade una estimación de la altura del suelo por celda para corregirlo.

Ideas erróneas comunes

• Una imagen BEV es solo una foto tomada por una cámara cenital — es una rejilla métrica construida, normalmente a partir del LiDAR o elevando a 3D las imágenes en perspectiva de las cámaras
• La BEV por cámara es tan precisa como la BEV por LiDAR — los métodos con cámara deben estimar la profundidad, así que los errores de posición crecen con la distancia
• La BEV conserva toda la escena 3D — la altura se comprime en unos pocos canales, por lo que los voladizos y los objetos apilados se fusionan
• El mapeo de perspectiva inversa funciona en todas partes — supone un suelo llano y deforma todo lo que está por encima del suelo o en pendientes

Quién debería saberlo

• Ingenieros de percepción para conducción autónoma
• Desarrolladores de robots móviles y de navegación en exteriores
• Investigadores de visión por computador que trabajan en detección 3D
• Ingenieros de fusión de sensores

Tecnologías relacionadas

• PointPillars
• Lift-Splat-Shoot
• Mapeo de perspectiva inversa (Inverse Perspective Mapping)
• Rejilla de ocupación (Occupancy Grid)
• Voxelización (Voxelization)

Términos relacionados

• LIDAR
• Point Cloud
• Range Image
• Elevation Map
• Semantic Map
• Cooperative Perception

Proyectos relacionados

• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)