AK: Attentive Kernel for Information Gathering

Auteurs: Weizhe Chen, Roni Khardon, Lantao Liu · RSS 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un noyau GP non stationnaire qui mélange des échelles de longueur fixes et masque les corrélations à travers les changements brusques, de sorte que l'incertitude de la carte suit l'erreur réelle et que le robot échantillonne là où cela compte.

Pourquoi c'est important

Lorsque le modèle d'un robot d'échantillonnage donne une forte incertitude là où son erreur est élevée, le planificateur consacre le budget d'échantillonnage aux régions complexes au lieu de couvrir l'espace uniformément. Comme le noyau enveloppe n'importe quel noyau de base existant, il peut être intégré tel quel aux chaînes existantes de cartographie et de planification informative fondées sur les GP, et l'essai de terrain le montre en fonctionnement sur un véhicule de surface effectuant une cartographie bathymétrique.

Problème

La collecte robotique d'informations choisit où un robot échantillonne ensuite à partir de l'incertitude d'un modèle probabiliste, généralement un processus gaussien avec un noyau stationnaire comme RBF. Le terrain réel n'est pas stationnaire : certaines zones varient bien plus que d'autres, si bien qu'un modèle stationnaire lisse excessivement et attribue une forte incertitude simplement aux zones non visitées, indépendamment de l'erreur. Les noyaux non stationnaires existants sont souvent trop flexibles pour être entraînés de manière fiable.

Solution proposée

L'Attentive Kernel combine deux sélections apprises, dépendantes de l'entrée. La sélection de l'échelle de longueur mélange un ensemble fixe de noyaux de base à échelles de longueur prédéfinies à l'aide de poids softmax issus d'un petit réseau de neurones, au lieu d'apprendre une fonction d'échelle de longueur. La sélection d'instance attribue à chaque entrée un vecteur d'appartenance souple dont le produit scalaire masque les corrélations entre des points situés de part et d'autre de transitions brusques ; tous les paramètres sont ajustés en maximisant la vraisemblance marginale du GP, et l'incertitude obtenue pilote un planificateur de points de passage fondé sur l'entropie moins la distance.

Idées clés

• Choisir parmi des échelles de longueur prédéfinies, plutôt qu'apprendre une fonction d'échelle de longueur libre, rend un noyau non stationnaire plus facile à entraîner et compatible avec n'importe quel noyau de base.
• Masquer les corrélations à l'aide de vecteurs d'appartenance souples permet de traiter les changements abrupts qu'une petite échelle de longueur ne peut à elle seule bien modéliser.
• Une incertitude mieux calibrée, et non un meilleur planificateur, a suffi à améliorer la planification informative : avec le même planificateur simple, AK a concentré les échantillons dans les régions à forte erreur tandis que RBF couvrait l'espace uniformément.
• L'étude d'ablation a montré que la sélection de l'échelle de longueur est nécessaire ; la sélection d'instance n'a apporté aucun gain significatif dans les métriques agrégées avec le schéma d'entraînement actuel, bien que les auteurs s'attendent à ce qu'elle aide aux transitions brusques.
• Après normalisation des entrées, les performances ont peu varié avec le nombre de noyaux de base (5 à 10 recommandés), le nombre d'unités cachées et les bornes des échelles de longueur.

Principaux résultats

• Sur quatre environnements de cartes d'altitude et 10 graines aléatoires, AK a obtenu les plus faibles SMSE et MSLL dans les expériences de planification informative face à RBF, Gibbs et Deep Kernel Learning (métriques moyennées sur la courbe d'échantillonnage).
• Planification informative sur N17E073 : SMSE de 0,114 pour AK contre 0,145 pour RBF, 0,143 pour Gibbs et 0,138 pour DKL ; MSLL de −1,27 contre −0,97, −1,16 et −1,01.
• Échantillonnage actif sur N43W080 : SMSE de 0,051 pour AK contre 0,078 pour RBF ; MSLL de −1,72 contre −1,41.
• Échantillonnage aléatoire sur N17E073 : SMSE de 0,111 pour AK contre 0,133 pour RBF ; MSLL de −1,24 contre −0,99.
• Lors de l'essai de terrain, un véhicule de surface autonome équipé d'un sonar monofaisceau orienté vers le bas a prélevé la plupart des échantillons dans des régions à fortes variations d'altitude et a réduit l'incertitude de prédiction sur tout l'espace de travail (résultat qualitatif).

Limites

• Les auteurs notent que l'effet de rasoir d'Ockham de la vraisemblance marginale n'empêche pas le surapprentissage lorsque les noyaux non stationnaires sont entraînés pendant de nombreuses itérations ; ils utilisent un schéma d'arrêt précoce empirique et qualifient l'entraînement rigoureux de problème ouvert.
• Les valeurs aberrantes et le bruit hétéroscédastique ne sont pas traités et sont cités comme travaux futurs.
• La sélection d'instance n'a pas apporté d'amélioration mesurable dans les métriques agrégées avec le schéma d'entraînement actuel, et une variante à deux réseaux a dégradé l'incertitude dans un environnement.
• Les bancs d'essai n'utilisent que des cartes d'altitude 2D, et l'expérience de terrain est un unique essai qualitatif sans erreur numérique rapportée.
• Le coût du noyau croît avec le nombre de noyaux de base (O(N²M) pour les matrices de noyau), en plus du passage à l'échelle habituel des GP.

Impact sur le domaine

L'article a remporté le RSS 2022 Best Student Paper Award et compte 22 citations. Il publie le code pour la reproductibilité ainsi que PyPolo, une bibliothèque logicielle pour la recherche en collecte robotique d'informations.

Résumé

La collecte robotique d'informations (Robotic Information Gathering, RIG) s'appuie sur l'incertitude d'un modèle probabiliste pour identifier les zones critiques pour une collecte de données efficace. Les processus gaussiens (GP) à noyaux stationnaires ont été largement adoptés pour la modélisation spatiale. Cependant, les données spatiales réelles ne satisfont généralement pas l'hypothèse de stationnarité, selon laquelle différents emplacements sont supposés présenter le même degré de variabilité. En conséquence, l'incertitude de prédiction ne reflète pas fidèlement l'erreur de prédiction, ce qui limite le succès des algorithmes de RIG. Nous proposons une nouvelle famille de noyaux non stationnaires, nommée Attentive Kernel (AK), qui est simple, robuste et peut étendre n'importe quel noyau existant en un noyau non stationnaire. Nous évaluons le nouveau noyau sur des tâches de cartographie d'altitude, où AK offre une meilleure précision et une meilleure quantification de l'incertitude que le noyau RBF couramment utilisé et d'autres noyaux non stationnaires répandus. L'amélioration de la quantification de l'incertitude guide le planificateur de RIG en aval vers la collecte de données plus utiles autour de la zone à forte erreur, ce qui augmente encore la précision de prédiction. Une expérience de terrain démontre que la méthode proposée peut guider un véhicule de surface autonome (ASV) pour qu'il donne la priorité à la collecte de données dans les zones à fortes variations spatiales, permettant au modèle de caractériser les traits saillants de l'environnement.

Liens

• arXiv 2205.06426: https://arxiv.org/abs/2205.06426
• DOI 10.48550/arXiv.2205.06426: https://doi.org/10.48550/arXiv.2205.06426
• PDF: https://arxiv.org/pdf/2205.06426v1
• Code: https://github.com/weizhe-chen/attentive_kernels
• Page du projet: https://weizhe-chen.github.io/attentive_kernels/