Bird's-Eye View

• Detto anche: BEV, top-down view
• Categoria: Sensing › Perception outputs
• Tag: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

Una rappresentazione a griglia vista dall'alto dell'area attorno a un robot o a un veicolo, costruita da LiDAR, telecamere o entrambi, usata per il rilevamento 3D, la mappatura e la pianificazione.

Definizione

Una vista a volo d'uccello (BEV) (bird's-eye view) rappresenta una scena come vista direttamente dall'alto, come una griglia 2D sul piano del suolo centrata sul robot o sul veicolo. Ogni cella contiene feature invece di un singolo valore: occupazione, altezza massima o media dei punti, densità dei punti, intensità LiDAR, classe semantica o vettori di feature appresi. Poiché in questa vista gli oggetti a terra mantengono le loro dimensioni reali e non si sovrappongono, una griglia BEV è un luogo comodo per rilevare veicoli e pedoni, stimare lo spazio libero e passare informazioni a un pianificatore che lavora già in un sistema di riferimento cartografico visto dall'alto.

Dal LiDAR, una BEV si costruisce raggruppando i punti nelle celle. Le versioni progettate a mano codificano ogni cella con diversi canali per fasce di altezza, più densità e talvolta intensità, come nei rilevatori AVOD e MV3D; le versioni apprese come PointPillars usano una piccola rete per codificare i punti di ciascuna colonna verticale in un vettore di feature, producendo una pseudo-immagine che una rete convoluzionale 2D standard può elaborare. Dalle telecamere la vista va costruita, perché le immagini sono proiezioni prospettiche. I primi metodi usavano l'inverse perspective mapping, che presuppone un piano del suolo piatto. I metodi appresi successivi stimano la profondità o usano l'attenzione per portare le feature dell'immagine in 3D e proiettarle (splat) sulla griglia BEV, il che rende anche semplice fondere più telecamere e il LiDAR in un'unica rappresentazione condivisa.

Una griglia BEV è diversa da una mappa di elevazione (elevation map). Una mappa di elevazione memorizza l'altezza del terreno per la locomozione su gambe o fuoristrada; una BEV è una griglia generica di feature vista dall'alto per la percezione, costruita di solito su strade o pavimenti dove il suolo è quasi piatto. L'appiattimento che rende comoda la BEV fa anche perdere informazione: la struttura verticale è ridotta a pochi canali, gli oggetti sporgenti dall'alto vengono fusi con ciò che sta sotto di essi, e gli oggetti piccoli o lontani possono coprire pochissime celle alla risoluzione scelta.

Perché è importante

La BEV è diventata lo spazio di lavoro comune della percezione nella guida autonoma e nei robot mobili per esterni. Permette a rilevamento, tracciamento, mappatura e pianificazione di condividere un unico sistema di riferimento metrico e rende molto più semplice fondere più sensori in un'unica rappresentazione.

Applicazioni principali

• Rilevamento di oggetti 3D per veicoli autonomi
• Fusione multi-telecamera e telecamera-LiDAR
• Segmentazione dell'area percorribile e delle corsie
• Previsione dell'occupazione e dello spazio libero per la pianificazione
• Percezione cooperativa con condivisione di mappe tra veicoli

In pratica

Un robot per le consegne fonde un LiDAR sul tetto e quattro telecamere per navigare sui marciapiedi. I punti LiDAR entro 40 m vengono raggruppati in una griglia con celle da 0,1 m, con canali per diverse fasce di altezza e per la densità dei punti. Le feature delle telecamere vengono portate sulla stessa griglia usando distribuzioni di profondità previste, e le due mappe di feature vengono concatenate prima che una testa convoluzionale preveda l'area percorribile, i riquadri dei pedoni e il loro orientamento. Il pianificatore legge direttamente la stessa griglia. Quando il team aggiunge una rampa al percorso di prova, scopre che compaiono falsi ostacoli dove il suolo sale, perché le fasce di altezza erano state definite rispetto a un piano del suolo piatto, e aggiunge una stima dell'altezza del suolo per ogni cella per correggere il problema.

Idee sbagliate comuni

• Un'immagine BEV è solo una foto scattata da una telecamera dall'alto — è una griglia metrica costruita, di solito dal LiDAR o portando in 3D le immagini prospettiche delle telecamere
• La BEV da telecamera è precisa quanto la BEV da LiDAR — i metodi basati su telecamera devono stimare la profondità, quindi gli errori di posizione crescono con la distanza
• La BEV conserva l'intera scena 3D — l'altezza è compressa in pochi canali, per cui sporgenze e oggetti impilati vengono fusi
• L'inverse perspective mapping funziona ovunque — presuppone un suolo piatto e deforma tutto ciò che sta sopra il suolo o su pendenze

Chi dovrebbe saperlo

• Ingegneri di percezione per la guida autonoma
• Sviluppatori di robot mobili e di navigazione in esterni
• Ricercatori di visione artificiale che lavorano sul rilevamento 3D
• Ingegneri di fusione dei sensori

Tecnologie correlate

• PointPillars
• Lift-Splat-Shoot
• Inverse Perspective Mapping
• Griglia di occupazione (Occupancy Grid)
• Voxelizzazione (Voxelization)

Termini correlati

• LIDAR
• Point Cloud
• Range Image
• Elevation Map
• Semantic Map
• Cooperative Perception

Progetti correlati

• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)