ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

Autores: Dhruv Shah, Sergey Levine · RSS 2022

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

ViKiNG combina un controlador local basado en imágenes con una búsqueda de tipo A* guiada por imágenes de satélite o mapas de carreteras, y alcanza objetivos a más de un kilómetro tras entrenar con recorridos de menos de 80 m.

Por qué importa

Muestra cómo datos de mapas baratos e imperfectos pueden guiar la navegación de largo alcance de un robot sin construir un mapa geométrico, mientras el control sigue siendo robusto cuando el mapa está desactualizado. Seguir aceras y senderos y salir marcha atrás de callejones sin salida surgen de los datos de entrenamiento y de la búsqueda, no de reglas escritas a mano.

Problema

Un robot enviado a un objetivo lejano en un entorno exterior no visto necesita tanto razonar sobre la transitabilidad local como conocer la geografía más amplia. Los métodos de mapeo geométrico no aprovechan datos previos, las políticas de navegación aprendidas solo han alcanzado distancias cortas, y los mapas y el GPS disponibles (con precisión de 2–5 m, 4–10× el tamaño del robot) pueden estar desactualizados o ser erróneos, por lo que no se puede confiar en ellos para el control.

Solución propuesta

Un modelo de objetivo latente entrenado con 42 horas de datos de conducción offline toma la imagen actual y una imagen de subobjetivo y predice la distancia temporal, la siguiente acción y el desplazamiento GPS; un cuello de botella de información variacional le permite además muestrear subobjetivos candidatos alcanzables. Un segundo modelo, entrenado con un objetivo contrastivo sobre trayectorias de entrenamiento unidas mediante GPS, puntúa si un subobjetivo está en un camino hacia el objetivo dada una imagen de satélite cenital o un mapa de carreteras. ViKiNG-A, una búsqueda física de tipo A sobre un grafo topológico construido mientras se conduce, usa esa puntuación solo como heurística, mientras que cada acción de conducción procede de la imagen de la cámara.

Ideas clave

Usar las pistas geográficas solo como heurística de búsqueda, con el control a partir de las imágenes de la cámara, mantuvo al robot funcionando cuando el mapa estaba desactualizado (un camión aparcado atravesando el camino anterior) o era erróneo (imágenes de satélite desplazadas unos 5 km).
Unir trayectorias de entrenamiento solapadas en macrotrayectorias más largas según la posición GPS permite a la heurística aprender a puntuar objetivos mucho más allá de la longitud de cualquier recorrido de entrenamiento individual.
El tipo de pista cambia el comportamiento: el modelo entrenado con mapas de carreteras se mantuvo en las vías marcadas, mientras que el entrenado con imágenes de satélite atajó por prados para seguir un camino más corto.
Comportamientos de navegación como seguir aceras y senderos forestales se heredan de la parte teleoperada de los datos de entrenamiento; no hay ningún mecanismo aparte que premie mantenerse en los senderos.
La búsqueda física difiere de la búsqueda en grafos: el robot no puede saltar a nodos arbitrarios y no conoce el coste de las aristas antes de recorrerlas, así que ViKiNG-A* añade al coste de cada candidato el coste de conducción y un término de novedad basado en el número de visitas.

Resultados principales

Búsqueda de objetivos en 10 entornos no vistos (Tabla I): ViKiNG 3/3 fáciles (<50 m), 4/4 medios (50–150 m) y 3/3 difíciles (150–500 m); RECON-H 3/3, 3/4, 1/3; GCG 3/3, 2/4, 0/3; clonación de comportamiento y PPO offline 2/3, 1/4, 0/3.
Antes de una desconexión en los recorridos más difíciles (Tabla II), el desplazamiento medio fue de 250,0+ m a 1,36 m/s para ViKiNG, frente a 188,3 m a 0,41 m/s para RECON-H, 78,3 m a 1,40 m/s para GCG, 47,2 m para PPO offline y 19,5 m para clonación de comportamiento.
Recorridos individuales a escala de kilómetros de 1,05 km, 1,20 km y 1,55 km en entornos de campus y de ciudad no vistos, un sendero de excursión de 2,73 km con seis puntos de control y 70 m de desnivel positivo (escrito como 2,7 km en el texto) y un circuito de inspección suburbano de 2,65 km sin intervenciones.
El resumen indica objetivos a hasta 3 km y la introducción indica objetivos a más de 2 km alcanzados en menos de 25 minutos; los recorridos más largos reportados en los experimentos son de 2,73 km y 2,65 km.
Sin imágenes cenitales (solo heurística de distancia GPS), el robot tardó 17:20 y recorrió 0,73 km, frente a 06:40 y 0,31 km con imágenes de satélite; sin GPS ni imágenes no alcanzó el objetivo en más de 30 minutos.
La velocidad media en el despliegue fue de 1,36 m/s frente a 1,68 m/s en los datos de entrenamiento, cuyas trayectorias miden de media 45 m.

Limitaciones

El artículo no tiene sección de limitaciones. Su discusión menciona como trabajo futuro el uso de otras fuentes de pistas, como esquemas, mapas en papel o instrucciones textuales, y dice que solo se usaron imágenes de satélite, aunque la Sección V-A también prueba mapas de carreteras esquemáticos.
El GPS es necesario: sin GPS ni imágenes cenitales la búsqueda pasa a ser no informada y no alcanzó el objetivo en más de 30 minutos.
La comparación con las líneas base es pequeña, con un ensayo en cada uno de los 10 entornos y objetivos de hasta 500 m; los recorridos a escala de kilómetros y las pruebas con pistas desactualizadas y erróneas son demostraciones únicas.
La heurística por sí sola razona solo a la escala de trayectorias de entrenamiento individuales, indicada como de hasta 50 m en la Sección III-C, mientras que el resumen y la Sección IV-B dan 80 m como la trayectoria de entrenamiento más larga; la puntuación a largo alcance depende de unir trayectorias mediante GPS.
Bajo una cubierta arbórea densa la imagen de satélite no aporta información útil, por lo que allí el avance depende solo del modelo local basado en imágenes.

Impacto en el campo

Finalista del RSS 2022 Best Systems Paper Award, y citado 121 veces. El artículo no enlaza código; la página del proyecto comparte vídeos de los experimentos, incluidas vistas en tercera persona de los recorridos del robot.

Resumen

La navegación robótica se ha abordado como un problema de reconstrucción 3D y planificación, así como un problema de aprendizaje de extremo a extremo. Sin embargo, la navegación de largo alcance requiere tanto planificar y razonar sobre la transitabilidad local como ser capaz de utilizar información sobre la geografía global, en forma de mapa de carreteras, GPS u otra información complementaria, que proporciona pistas de navegación importantes pero puede ser de baja fidelidad o poco fiable. En este trabajo proponemos un enfoque basado en aprendizaje que integra aprendizaje y planificación, y que puede utilizar información complementaria como mapas de carreteras esquemáticos, mapas de satélite y coordenadas GPS como heurística de planificación, sin depender de que sean precisos. Nuestro método, ViKiNG, incorpora un modelo de transitabilidad local, que observa la observación actual de la cámara del robot y un subobjetivo potencial para inferir con qué facilidad se puede alcanzar ese subobjetivo, así como un modelo heurístico, que observa mapas cenitales e intenta estimar la distancia al destino para varios subobjetivos. Estos modelos los usa un planificador heurístico para decidir el mejor siguiente subobjetivo con el fin de alcanzar el destino final. Nuestro método no realiza ninguna reconstrucción geométrica explícita y utiliza solo una representación topológica del entorno. Pese a no haber visto nunca trayectorias de más de 80 metros en su conjunto de datos de entrenamiento, ViKiNG puede aprovechar su controlador aprendido basado en imágenes y su heurística dirigida al objetivo para navegar hasta objetivos situados a hasta 3 kilómetros en entornos no vistos previamente, y muestra comportamientos complejos como explorar caminos potenciales y dar media vuelta cuando resultan no viables. ViKiNG también es robusto frente a mapas y GPS poco fiables, ya que el controlador de bajo nivel toma en última instancia las decisiones a partir de observaciones de imagen egocéntricas, usando los mapas solo como heurísticas de planificación.

Enlaces

arXiv 2202.11271: https://arxiv.org/abs/2202.11271
DOI 10.15607/RSS.2022.XVIII.019: https://doi.org/10.15607/RSS.2022.XVIII.019
PDF: https://arxiv.org/pdf/2202.11271v1
Página del proyecto: https://sites.google.com/view/viking-release