ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

Autori: Dhruv Shah, Sergey Levine · RSS 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

ViKiNG abbina un controllore locale basato su immagini a una ricerca di tipo A* guidata da immagini satellitari o mappe stradali, raggiungendo obiettivi a oltre un chilometro dopo un addestramento su percorsi sotto gli 80 m.

Perché è importante

Mostra come dati cartografici economici e imperfetti possano guidare la navigazione robotica a lungo raggio senza costruire una mappa geometrica, mentre il controllo resta robusto quando la mappa non è aggiornata. Seguire marciapiedi e sentieri e uscire in retromarcia dai vicoli ciechi derivano dai dati di addestramento e dalla ricerca, non da regole scritte a mano.

Problema

Un robot inviato verso un obiettivo distante in un ambiente esterno mai visto ha bisogno sia di ragionare sull'attraversabilità locale sia di conoscere la geografia più ampia. I metodi di mappatura geometrica non traggono vantaggio dai dati pregressi, le policy di navigazione apprese hanno raggiunto solo brevi distanze, e le mappe e il GPS disponibili (accurato a 2–5 m, 4–10× la dimensione del robot) possono essere obsoleti o errati, quindi non ci si può affidare a essi per il controllo.

Soluzione proposta

Un modello di obiettivo latente addestrato su 42 ore di dati di guida offline riceve l'immagine corrente e un'immagine del sotto-obiettivo e predice la distanza temporale, l'azione successiva e lo spostamento GPS; un collo di bottiglia informativo variazionale gli consente anche di campionare sotto-obiettivi candidati raggiungibili. Un secondo modello, addestrato con un obiettivo contrastivo su traiettorie di addestramento unite tramite GPS, valuta se un sotto-obiettivo si trova su un percorso verso l'obiettivo data un'immagine satellitare dall'alto o una mappa stradale. ViKiNG-A, una ricerca fisica di tipo A su un grafo topologico costruito durante la guida, usa questo punteggio solo come euristica, mentre ogni azione di guida deriva dall'immagine della telecamera.

Idee chiave

• Usare gli indizi geografici solo come euristica di ricerca, con il controllo dalle immagini della telecamera, ha mantenuto il robot funzionante quando la mappa era obsoleta (un camion parcheggiato di traverso sul percorso precedente) o errata (immagini satellitari spostate di circa 5 km).
• Unire traiettorie di addestramento sovrapposte in macro-traiettorie più lunghe in base alla posizione GPS permette all'euristica di imparare a valutare obiettivi ben oltre la lunghezza di qualsiasi singolo percorso di addestramento.
• Il tipo di indizio cambia il comportamento: il modello addestrato sulle mappe stradali è rimasto sulle strade segnate, mentre quello addestrato sulle immagini satellitari ha tagliato attraverso i prati per un percorso più breve.
• Comportamenti di navigazione come seguire marciapiedi e sentieri forestali sono ereditati dalla parte teleoperata dei dati di addestramento; non esiste un meccanismo separato che premi il restare sui sentieri.
• La ricerca fisica differisce dalla ricerca su grafo: il robot non può saltare a nodi arbitrari e non conosce i costi degli archi prima di percorrerli, quindi ViKiNG-A* aggiunge al costo di ogni candidato il costo di guida e un termine di novità basato sul conteggio delle visite.

Risultati principali

• Ricerca dell'obiettivo in 10 ambienti mai visti (Tabella I): ViKiNG 3/3 facili (<50 m), 4/4 medi (50–150 m) e 3/3 difficili (150–500 m); RECON-H 3/3, 3/4, 1/3; GCG 3/3, 2/4, 0/3; behavior cloning e PPO offline 2/3, 1/4, 0/3.
• Prima di un disinnesto sui percorsi più difficili (Tabella II), lo spostamento medio è stato di 250,0+ m a 1,36 m/s per ViKiNG, contro 188,3 m a 0,41 m/s per RECON-H, 78,3 m a 1,40 m/s per GCG, 47,2 m per PPO offline e 19,5 m per behavior cloning.
• Singoli percorsi su scala chilometrica di 1,05 km, 1,20 km e 1,55 km in ambienti di campus e di città mai visti, un sentiero escursionistico di 2,73 km con sei checkpoint e 70 m di dislivello positivo (scritto come 2,7 km nel testo) e un circuito di ispezione suburbano di 2,65 km senza interventi.
• L'abstract indica obiettivi distanti fino a 3 km e l'introduzione indica obiettivi a oltre 2 km raggiunti in meno di 25 minuti; i percorsi più lunghi riportati negli esperimenti sono di 2,73 km e 2,65 km.
• Senza immagini dall'alto (solo euristica della distanza GPS), il robot ha impiegato 17:20 e percorso 0,73 km, contro 06:40 e 0,31 km con immagini satellitari; senza GPS né immagini non ha raggiunto l'obiettivo in oltre 30 minuti.
• La velocità media durante l'impiego è stata di 1,36 m/s contro 1,68 m/s nei dati di addestramento, le cui traiettorie misurano in media 45 m.

Limiti

• L'articolo non ha una sezione sui limiti. La discussione indica come lavoro futuro l'uso di altre fonti di indizi, come schemi, mappe cartacee o istruzioni testuali, e afferma che sono state usate solo immagini satellitari, anche se la Sezione V-A testa anche mappe stradali schematiche.
• Il GPS è necessario: senza GPS né immagini dall'alto la ricerca diventa non informata e non ha raggiunto l'obiettivo in oltre 30 minuti.
• Il confronto con le baseline è ridotto, con una prova in ciascuno dei 10 ambienti e obiettivi fino a 500 m; i percorsi su scala chilometrica e i test con indizi obsoleti ed errati sono dimostrazioni singole.
• L'euristica da sola ragiona solo alla scala delle singole traiettorie di addestramento, indicata come fino a 50 m nella Sezione III-C, mentre l'abstract e la Sezione IV-B indicano 80 m come la traiettoria di addestramento più lunga; la valutazione a lungo raggio dipende dall'unione delle traiettorie tramite GPS.
• Sotto una fitta copertura arborea l'immagine satellitare non fornisce informazioni utili, quindi lì l'avanzamento si basa solo sul modello locale basato su immagini.

Impatto sul settore

Finalista del RSS 2022 Best Systems Paper Award, e citato 121 volte. L'articolo non rimanda a codice; la pagina del progetto condivide i video degli esperimenti, comprese riprese in terza persona dei percorsi del robot.

Abstract

La navigazione robotica è stata affrontata come un problema di ricostruzione 3D e pianificazione, oltre che come un problema di apprendimento end-to-end. Tuttavia, la navigazione a lungo raggio richiede sia la pianificazione e il ragionamento sull'attraversabilità locale, sia la capacità di utilizzare informazioni sulla geografia globale, sotto forma di mappa stradale, GPS o altre informazioni ausiliarie, che forniscono indizi di navigazione importanti ma possono essere a bassa fedeltà o inaffidabili. In questo lavoro proponiamo un approccio basato sull'apprendimento che integra apprendimento e pianificazione, e può utilizzare informazioni ausiliarie come mappe stradali schematiche, mappe satellitari e coordinate GPS come euristica di pianificazione, senza fare affidamento sulla loro accuratezza. Il nostro metodo, ViKiNG, incorpora un modello di attraversabilità locale, che esamina l'osservazione corrente della telecamera del robot e un potenziale sotto-obiettivo per inferire con quanta facilità quel sotto-obiettivo possa essere raggiunto, e un modello euristico, che esamina mappe dall'alto e cerca di stimare la distanza dalla destinazione per vari sotto-obiettivi. Questi modelli sono usati da un pianificatore euristico per decidere il miglior sotto-obiettivo successivo al fine di raggiungere la destinazione finale. Il nostro metodo non esegue alcuna ricostruzione geometrica esplicita, utilizzando solo una rappresentazione topologica dell'ambiente. Pur non avendo mai visto traiettorie più lunghe di 80 metri nel suo dataset di addestramento, ViKiNG può sfruttare il suo controllore appreso basato su immagini e la sua euristica orientata all'obiettivo per navigare verso obiettivi distanti fino a 3 chilometri in ambienti mai visti prima, e mostra comportamenti complessi come esplorare percorsi potenziali e tornare indietro quando si rivelano non praticabili. ViKiNG è inoltre robusto a mappe e GPS inaffidabili, poiché il controllore di basso livello prende in ultima analisi le decisioni sulla base di osservazioni di immagini egocentriche, usando le mappe solo come euristiche di pianificazione.

Link

• arXiv 2202.11271: https://arxiv.org/abs/2202.11271
• DOI 10.15607/RSS.2022.XVIII.019: https://doi.org/10.15607/RSS.2022.XVIII.019
• PDF: https://arxiv.org/pdf/2202.11271v1
• Pagina del progetto: https://sites.google.com/view/viking-release