AK: Attentive Kernel for Information Gathering

Autori: Weizhe Chen, Roni Khardon, Lantao Liu · RSS 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un kernel GP non stazionario che combina lengthscale fisse e maschera le correlazioni attraverso i cambiamenti bruschi, così l'incertezza della mappa segue l'errore reale e il robot campiona dove serve.

Perché è importante

Quando il modello di un robot di campionamento dà un'incertezza alta dove l'errore è alto, il pianificatore spende il budget di campionamento sulle regioni complesse invece di coprire lo spazio in modo uniforme. Poiché il kernel avvolge qualsiasi kernel base esistente, può essere inserito nelle pipeline esistenti di mappatura basata su GP e di pianificazione informativa, e la prova sul campo lo mostra in funzione su un veicolo di superficie impegnato nella mappatura batimetrica.

Problema

La raccolta robotica di informazioni sceglie dove il robot campiona successivamente in base all'incertezza di un modello probabilistico, di solito un processo gaussiano con un kernel stazionario come RBF. Il terreno reale non è stazionario: alcune aree variano molto più di altre, quindi un modello stazionario smussa troppo e assegna un'incertezza alta semplicemente alle aree non visitate, indipendentemente dall'errore. I kernel non stazionari esistenti sono spesso troppo flessibili per essere addestrati in modo affidabile.

Soluzione proposta

L'Attentive Kernel combina due selezioni apprese e dipendenti dall'input. La selezione della lengthscale miscela un insieme fisso di kernel base con lengthscale preimpostate usando pesi softmax prodotti da una piccola rete neurale, invece di apprendere una funzione di lengthscale. La selezione delle istanze assegna a ogni input un vettore di appartenenza morbido il cui prodotto scalare maschera le correlazioni tra punti ai lati opposti di transizioni brusche; tutti i parametri sono stimati massimizzando la verosimiglianza marginale del GP, e l'incertezza risultante guida un pianificatore di waypoint basato su entropia meno distanza.

Idee chiave

• Scegliere tra lengthscale preimpostate, invece di apprendere una funzione di lengthscale libera, rende un kernel non stazionario più facile da addestrare e compatibile con qualsiasi kernel base.
• Mascherare le correlazioni con vettori di appartenenza morbidi gestisce i cambiamenti bruschi che una lengthscale piccola da sola non riesce a modellare bene.
• Un'incertezza meglio calibrata, e non un pianificatore migliore, è bastata a migliorare la pianificazione informativa: con lo stesso pianificatore semplice, AK ha concentrato i campioni nelle regioni ad alto errore mentre RBF ha coperto lo spazio uniformemente.
• L'ablazione ha mostrato che la selezione della lengthscale è necessaria; la selezione delle istanze non ha dato un guadagno significativo nelle metriche aggregate con l'attuale schema di addestramento, anche se gli autori si aspettano che aiuti nelle transizioni brusche.
• Le prestazioni sono cambiate poco al variare del numero di kernel base (da 5 a 10 consigliati), delle unità nascoste e dei limiti della lengthscale dopo la normalizzazione dell'input.

Risultati principali

• In quattro ambienti di mappe di elevazione e 10 seed casuali, AK ha ottenuto i valori più bassi di SMSE e MSLL negli esperimenti di pianificazione informativa rispetto a RBF, Gibbs e Deep Kernel Learning (metriche mediate lungo la curva di campionamento).
• Pianificazione informativa su N17E073: SMSE 0,114 per AK contro 0,145 per RBF, 0,143 per Gibbs e 0,138 per DKL; MSLL −1,27 contro −0,97, −1,16 e −1,01.
• Campionamento attivo su N43W080: SMSE 0,051 per AK contro 0,078 per RBF; MSLL −1,72 contro −1,41.
• Campionamento casuale su N17E073: SMSE 0,111 per AK contro 0,133 per RBF; MSLL −1,24 contro −0,99.
• Nella prova sul campo, un veicolo autonomo di superficie con un sonar a fascio singolo rivolto verso il basso ha raccolto la maggior parte dei campioni nelle regioni con variazioni di elevazione drastiche e ha ridotto l'incertezza della previsione in tutto lo spazio di lavoro (risultato qualitativo).

Limiti

• Gli autori osservano che l'effetto rasoio di Occam della verosimiglianza marginale non impedisce l'overfitting quando i kernel non stazionari sono addestrati per molte iterazioni; usano uno schema empirico di early stopping e considerano un addestramento fondato su basi teoriche un problema aperto.
• Gli outlier e il rumore eteroschedastico non sono gestiti e sono indicati come lavoro futuro.
• La selezione delle istanze non ha dato un miglioramento misurabile nelle metriche aggregate con l'attuale schema di addestramento, e una variante a due reti ha peggiorato l'incertezza in un ambiente.
• I benchmark usano solo mappe di elevazione 2D, e l'esperimento sul campo è una singola prova qualitativa senza errore numerico riportato.
• Il costo del kernel cresce con il numero di kernel base (O(N²M) per le matrici di kernel), oltre alla scalabilità standard dei GP.

Impatto sul settore

L'articolo ha vinto il premio per il miglior articolo studentesco di RSS 2022 (Best Student Paper Award) e ha 22 citazioni. Rilascia il codice per la riproducibilità e PyPolo, una libreria software per la ricerca sulla raccolta robotica di informazioni.

Abstract

La raccolta robotica di informazioni (Robotic Information Gathering, RIG) si basa sull'incertezza di un modello probabilistico per individuare le aree critiche per una raccolta dati efficiente. I processi gaussiani (GPs) con kernel stazionari sono stati ampiamente adottati per la modellazione spaziale. Tuttavia, i dati spaziali del mondo reale di solito non soddisfano l'ipotesi di stazionarietà, secondo cui si assume che posizioni diverse abbiano lo stesso grado di variabilità. Di conseguenza, l'incertezza della previsione non coglie accuratamente l'errore di previsione, limitando il successo degli algoritmi di RIG. Proponiamo una nuova famiglia di kernel non stazionari, denominata Attentive Kernel (AK), che è semplice, robusta e può estendere qualsiasi kernel esistente a uno non stazionario. Valutiamo il nuovo kernel in compiti di mappatura dell'elevazione, dove AK offre maggiore accuratezza e una migliore quantificazione dell'incertezza rispetto al kernel RBF comunemente usato e ad altri diffusi kernel non stazionari. La migliore quantificazione dell'incertezza guida il pianificatore di RIG a valle a raccogliere dati più preziosi intorno all'area ad alto errore, aumentando ulteriormente l'accuratezza della previsione. Un esperimento sul campo dimostra che il metodo proposto può guidare un veicolo autonomo di superficie (Autonomous Surface Vehicle, ASV) a dare priorità alla raccolta di dati nelle posizioni con elevate variazioni spaziali, permettendo al modello di caratterizzare le caratteristiche ambientali salienti.

Link

• arXiv 2205.06426: https://arxiv.org/abs/2205.06426
• DOI 10.48550/arXiv.2205.06426: https://doi.org/10.48550/arXiv.2205.06426
• PDF: https://arxiv.org/pdf/2205.06426v1
• Codice: https://github.com/weizhe-chen/attentive_kernels
• Pagina del progetto: https://weizhe-chen.github.io/attentive_kernels/