Joint 3D Proposal Generation and Object Detection from View Aggregation

Auteurs: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un détecteur 3D à deux étages qui fusionne les caractéristiques LIDAR en vue de dessus et celles de l'image à la fois dans le réseau de proposition et dans le détecteur, et régresse un vecteur de cap explicite pour supprimer les erreurs d'orientation de ±π.

Pourquoi c'est important

Fusionner les caractéristiques d'image dès l'étape de proposition augmente le rappel sur les piétons et les cyclistes, les classes que manque une étape de proposition reposant uniquement sur le LIDAR. Le réseau tourne en 0,08 s par image avec 2 GB de mémoire GPU, ce que les auteurs présentent comme adapté à un usage embarqué sur un véhicule, et ils l'exécutent sur leur propre voiture avec une caméra et un LIDAR différents.

Problème

Sur une carte LIDAR clairsemée en vue de dessus, un piéton n'occupe qu'environ 8 × 6 pixels, de sorte qu'après sous-échantillonnage un seul pixel de la carte de caractéristiques contient trop peu d'information pour proposer de petits objets. Les détecteurs 3D antérieurs comme MV3D déduisent aussi le cap à partir des coins de la boîte, ce qui laisse l'orientation ambiguë à ±π près, et les métriques 3D de KITTI ne pénalisent pas cette erreur.

Solution proposée

Deux extracteurs de caractéristiques fondés sur VGG16 produisent des cartes de caractéristiques en pleine résolution à partir d'une carte BEV à six canaux et de l'image RGB. Un réseau de proposition de régions découpe et redimensionne les caractéristiques de chaque ancre 3D dans les deux vues, après que des convolutions 1 × 1 ont réduit la mémoire, et les fusionne par moyenne élément par élément. Un réseau de second étage régresse les boîtes dans un encodage à 10 valeurs (quatre coins plus deux hauteurs), ainsi qu'un vecteur d'orientation explicite (cos θ, sin θ) servant à choisir le bon cap.

Idées clés

• Ajouter des caractéristiques d'image au réseau de proposition compte surtout pour les petites classes : cela augmente le rappel des piétons et des cyclistes mais n'apporte aucun gain pour les voitures, qui occupent une part suffisante de la carte BEV
• Des découpes de caractéristiques d'un seul pixel ne suffisent pas pour les petits objets : des découpes de 1 pixel ont fait baisser l'AP de 26,9 % pour les piétons et de 32,6 % pour les cyclistes contre 9,5 % pour les voitures
• Le cap déduit des seuls coins de la boîte est ambigu à ±π près ; un vecteur d'orientation explicite lève cette ambiguïté
• La métrique AP de KITTI ne pénalise pas les inversions d'orientation qui maintiennent l'IoU au-dessus du seuil, c'est pourquoi les auteurs proposent l'Average Heading Similarity (AHS)
• Des convolutions 1 × 1 avant la découpe réduisent de 256× la mémoire par vue des découpes de caractéristiques d'ancres, si bien que des dizaines de milliers d'ancres tiennent en quelques mégaoctets

Principaux résultats

• Validation KITTI, voiture, moderate : 74,19 % d'AP 3D et 73,97 % d'AHS, contre 72,35 % d'AP et 43,75 % d'AHS pour MV3D (Table 1) ; le texte indique des gains d'AHS sur MV3D de 30,28 % (moderate) et 27,54 % (hard), et l'introduction de 29,46 % sur la classe voiture
• Test KITTI, AP 3D voiture (easy/moderate/hard) : 71,41 / 62,87 / 56,61 contre 71,09 / 62,35 / 55,12 pour MV3D ; piéton 29,45 / 23,42 / 22,22 et cycliste 35,94 / 29,04 / 26,44 (Table 2)
• Rappel des propositions : 86 % de rappel 3D sur les voitures avec 10 propositions et 91 % avec 50, là où MV3D indiquait en nécessiter 300 ; le rappel maximal sur les voitures de 3DOP et Mono3D est de 73,87 % et 65,74 %
• RPN à fusion contre RPN BEV seul : +6,9 % d'AP pour les piétons et +9,4 % pour les cyclistes dans la détection finale (Table 3)
• Environ 38,07 millions de paramètres (environ 37 % de MV3D), 186,28 milliards de FLOPs par image, 0,08 s par image sur une TITAN Xp (4,5× plus rapide que MV3D), 2 GB de mémoire GPU à l'inférence
• Classement : l'introduction indique qu'AVOD était troisième sur les trois classes KITTI lors de la soumission, tandis que la section des résultats indique qu'il est actuellement premier sur les trois en AP 3D et BEV

Limites

• Le serveur de test KITTI ne calcule pas l'AHS, de sorte que l'avantage en orientation n'est montré que sur la partition de validation
• Aucune méthode publiée ne fournissait à l'époque de résultats 3D pour les piétons et les cyclistes, de sorte que les comparaisons de détection 3D ne portent que sur les voitures
• Sur l'ensemble de test, l'écart d'AP avec MV3D est faible (0,52 % et 1,49 % en moderate et hard), et MV3D a une AP BEV plus élevée sur les voitures easy (86,02 contre 85,51)
• L'AP 3D des piétons et des cyclistes reste très inférieure à celle des voitures (23,42 et 29,04 contre 62,87 en test moderate)
• Le déploiement sur le véhicule des auteurs n'est montré que qualitativement

Impact sur le domaine

1739 citations. L'article renvoie à une vidéo de résultats qualitatifs ; il ne mentionne aucune publication de code ou de données.

Résumé

Nous présentons AVOD, un réseau Aggregate View Object Detection pour les scénarios de conduite autonome. L'architecture de réseau de neurones proposée utilise des nuages de points LIDAR et des images RGB pour générer des caractéristiques partagées par deux sous-réseaux : un réseau de proposition de régions (RPN) et un réseau détecteur de second étage. Le RPN proposé utilise une architecture nouvelle capable de réaliser une fusion multimodale de caractéristiques pour générer des propositions d'objets 3D fiables pour plusieurs classes d'objets dans des scènes routières. À partir de ces propositions, le réseau de détection de second étage effectue une régression précise de boîtes englobantes 3D orientées et une classification par catégorie afin de prédire l'étendue, l'orientation et la classe des objets dans l'espace 3D. Il est montré que l'architecture proposée produit des résultats à l'état de l'art sur le benchmark de détection d'objets 3D KITTI [10] tout en fonctionnant en temps réel avec une faible empreinte mémoire, ce qui en fait un candidat adapté au déploiement sur des véhicules autonomes.

Liens

• arXiv 1712.02294: https://arxiv.org/abs/1712.02294
• DOI https://doi.org/10.1109/iros.2018.8594049: https://doi.org/https://doi.org/10.1109/iros.2018.8594049
• PDF: https://arxiv.org/pdf/1712.02294v1