TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models

Autores: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un conjunto de datos todoterreno de 5 horas y 630 trayectorias de un ATV Yamaha Viking modificado con siete modalidades, más benchmarks de modelos dinámicos latentes; las entradas exteroceptivas ayudan sobre todo en terreno accidentado.

Por qué importa

Aprender modelos dinámicos requiere del orden de cientos de miles de interacciones, y recogerlas fuera de carretera es arriesgado para el vehículo y sus ocupantes. El conjunto de datos empareja acciones con datos propioceptivos y exteroceptivos, de modo que los modelos pueden entrenarse y compararse con la interacción real entre vehículo y terreno en lugar de con simulación. Los benchmarks también muestran dónde se quedan cortas las arquitecturas actuales, por ejemplo en que la predicción auxiliar de observaciones aporta poco bajo la observabilidad parcial del mundo real.

Problema

Los robots todoterreno deben razonar sobre la dinámica, como la velocidad y el ángulo de aproximación, y no solo sobre la geometría y la semántica del terreno, para no quedarse atascados ni sufrir daños, y los modelos analíticos del terreno son de baja fidelidad. Los conjuntos de datos todoterreno existentes se centran sobre todo en la segmentación semántica, y los que tienen datos de interacción son pequeños o tienen pocas modalidades; Rellis-3D, por ejemplo, tiene unos 20 minutos (12 000 puntos de datos) de trayectorias.

Solución propuesta

Los autores teleoperaron un ATV Yamaha Viking modificado a través de hierba alta, rocas, barro, charcos y pendientes pronunciadas en un terreno de pruebas de Pittsburgh, registrando a 10 Hz las acciones de acelerador y dirección, la pose GNSS, imágenes RGB estéreo, mapas cenitales de altura y RGB derivados del estéreo, la IMU, el recorrido de los amortiguadores, las RPM de las ruedas y las intervenciones de freno. Evalúan modelos dinámicos en espacio latente con un codificador por modalidad fusionado mediante un producto de expertos, un modelo latente GRU y decodificadores por modalidad, entrenados con pérdidas de estado, de reconstrucción o contrastivas, frente a un modelo cinemático de bicicleta.

Ideas clave

• Un análisis t-SNE de los desplazamientos de estado en un segundo muestra que secuencias de acciones similares pueden dar lugar a movimientos muy distintos, por lo que una predicción precisa necesita características más allá de la secuencia de acciones.
• Las tres funciones de pérdida (de estado, de reconstrucción y contrastiva) dieron una exactitud similar, lo que los autores atribuyen a que las observaciones futuras son difíciles de predecir en la conducción real, a diferencia de los benchmarks simulados con un agente sobre un fondo estático.
• Los datos propioceptivos en series temporales (IMU, recorrido de los amortiguadores, RPM de las ruedas) son la entrada más informativa, ya que las RPM de las ruedas están muy correlacionadas con la velocidad, pero las entradas de cámara y de mapas siguen aportando exactitud.
• Las entradas exteroceptivas ayudan más a medida que el terreno se vuelve más empinado y menos uniforme.

Resultados principales

• Tamaño del conjunto de datos: el resumen y las contribuciones dan aproximadamente 200 000 interacciones, mientras que la tabla comparativa de conjuntos de datos (tabla I) indica 184 000 muestras; se recogió como 630 trayectorias, unas cinco horas de conducción.
• RMSE de la predicción del estado medio tras 20 pasos con la pérdida de estado: modelo cinemático de bicicleta 1,1638, solo imagen 0,5263, imagen + mapas 0,3521, series temporales 0,2176, todas las modalidades 0,1896; el más bajo en conjunto fue todas las modalidades con la pérdida de reconstrucción, con 0,1674.
• Añadir mapas cenitales al modelo de solo imagen redujo el error de predicción un 33 %; añadir datos de series temporales mejoró la exactitud aproximadamente un 45 % de imagen + mapas a todas las modalidades, y añadir modalidades de imagen al modelo de series temporales, aproximadamente un 15 %.
• Añadir exterocepción a la propiocepción redujo el error de 0,2176 a 0,1896 (13 %) en el conjunto de evaluación original y de 0,7313 a 0,5394 (26 %) en un conjunto más difícil recogido por separado.
• El conjunto más difícil tiene una dificultad mediana de trayectoria (cambio medio de altura por segundo) de 0,2253 m/s frente a 0,0866 m/s del original, y el 87 % de sus trayectorias supera la mediana original.

Limitaciones

• Sigue sin probarse si la mejor predicción de la dinámica basta para navegar por terreno accidentado; integrar los modelos en una pila de navegación con funciones de coste y planificadores adecuados queda para trabajo futuro.
• La predicción auxiliar de las observaciones sensoriales aporta poco beneficio debido a la observabilidad parcial de la conducción en el mundo real.
• Los modelos latentes no se entrenan con secuencias lo bastante largas como para aprender ninguna forma de mapeo o SLAM, lo que limita el razonamiento a largo plazo.
• Con la pérdida contrastiva, los modelos de series temporales y de todas las modalidades rinden prácticamente igual.
• Los datos proceden de un solo vehículo en un solo terreno de pruebas, conducido por teleoperación humana en lugar de controles aleatorios por seguridad, con los frenos accionados por un conductor humano.

Impacto en el campo

El artículo fue finalista del premio ICRA 2022 Outstanding Learning Paper y tiene 113 citas. El conjunto de datos se publica en https://github.com/castacks/tartan_drive, junto con un apéndice que da las arquitecturas de red y los hiperparámetros de entrenamiento.

Resumen

Presentamos TartanDrive, un conjunto de datos a gran escala para aprender modelos dinámicos de conducción todoterreno. Recopilamos un conjunto de datos de aproximadamente 200 000 interacciones de conducción todoterreno en un ATV Yamaha Viking modificado con siete modalidades de sensado distintas en terrenos diversos. Hasta donde saben los autores, es el mayor conjunto de datos multimodal de conducción todoterreno del mundo real, tanto en número de interacciones como en modalidades de sensado. También evaluamos en este conjunto de datos varios métodos de vanguardia de aprendizaje por refuerzo basado en modelos a partir de observaciones de alta dimensión. Encontramos que extender estos modelos a la multimodalidad conduce a un rendimiento significativo en la predicción de la dinámica todoterreno, especialmente en los terrenos más difíciles. También identificamos algunas carencias de las arquitecturas de redes neuronales actuales para la tarea de conducción todoterreno. Nuestro conjunto de datos está disponible en https://github.com/castacks/tartan_drive.

Enlaces

• arXiv 2205.01791: https://arxiv.org/abs/2205.01791
• DOI 10.48550/arXiv.2205.01791: https://doi.org/10.48550/arXiv.2205.01791
• PDF: https://arxiv.org/pdf/2205.01791v1
• Código: https://github.com/castacks/tartan_drive