TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models

Autores: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um conjunto de dados off-road de 5 horas e 630 trajetórias de um ATV Yamaha Viking modificado com sete modalidades, mais benchmarks de modelos dinâmicos latentes; as entradas exteroceptivas ajudam mais em terreno acidentado.

Por que importa

Aprender modelos dinâmicos exige da ordem de centenas de milhares de interações, e coletá-las fora de estrada é arriscado para o veículo e seus ocupantes. O conjunto de dados associa ações a dados proprioceptivos e exteroceptivos, de modo que os modelos podem ser treinados e comparados na interação real entre veículo e terreno em vez de em simulação. Os benchmarks também mostram onde as arquiteturas atuais deixam a desejar, como a previsão auxiliar de observações acrescentando pouco sob a observabilidade parcial do mundo real.

Problema

Robôs off-road precisam raciocinar sobre a dinâmica, como velocidade e ângulo de aproximação, e não apenas sobre a geometria e a semântica do terreno, para evitar ficar atolados ou sofrer danos, e os modelos analíticos de terreno têm baixa fidelidade. Os conjuntos de dados off-road existentes visam sobretudo a segmentação semântica, e os que têm dados de interação são pequenos ou têm poucas modalidades; o Rellis-3D, por exemplo, tem cerca de 20 minutos (12.000 pontos de dados) de trajetórias.

Solução proposta

Os autores teleoperaram um ATV Yamaha Viking modificado por capim alto, pedras, lama, poças e encostas íngremes em um campo de testes em Pittsburgh, registrando a 10 Hz as ações de acelerador e direção, a pose GNSS, imagens RGB estéreo, mapas de altura e RGB vistos de cima derivados do estéreo, a IMU, o curso dos amortecedores, as RPM das rodas e as intervenções de freio. Eles avaliam modelos dinâmicos em espaço latente com um codificador por modalidade fundido por um produto de especialistas, um modelo latente GRU e decodificadores por modalidade, treinados com perdas de estado, de reconstrução ou contrastivas, em comparação com um modelo cinemático de bicicleta.

Principais ideias

Uma análise t-SNE dos deslocamentos de estado em um segundo mostra que sequências de ações semelhantes podem levar a movimentos muito diferentes, então uma previsão precisa exige características além da sequência de ações.
As três funções de perda (de estado, de reconstrução e contrastiva) deram acurácia semelhante, o que os autores atribuem ao fato de as observações futuras serem difíceis de prever na condução real, ao contrário de benchmarks simulados com um agente sobre um fundo estático.
Os dados proprioceptivos em séries temporais (IMU, curso dos amortecedores, RPM das rodas) são a entrada mais informativa, já que as RPM das rodas são altamente correlacionadas com a velocidade, mas as entradas de câmera e de mapas ainda acrescentam acurácia.
As entradas exteroceptivas ajudam mais à medida que o terreno fica mais íngreme e menos uniforme.

Principais resultados

Tamanho do conjunto de dados: o resumo e as contribuições dão aproximadamente 200.000 interações, enquanto a tabela comparativa de conjuntos de dados (tabela I) lista 184.000 amostras; ele foi coletado como 630 trajetórias, cerca de cinco horas de condução.
RMSE da previsão do estado médio após 20 passos com a perda de estado: modelo cinemático de bicicleta 1,1638, apenas imagem 0,5263, imagem + mapas 0,3521, séries temporais 0,2176, todas as modalidades 0,1896; o menor no geral foi todas as modalidades com a perda de reconstrução, com 0,1674.
Acrescentar mapas vistos de cima ao modelo apenas de imagem reduziu o erro de previsão em 33 %; acrescentar dados de séries temporais melhorou a acurácia em cerca de 45 % de imagem + mapas para todas as modalidades, e acrescentar modalidades de imagem ao modelo de séries temporais, em cerca de 15 %.
Acrescentar exterocepção à propriocepção reduziu o erro de 0,2176 para 0,1896 (13 %) no conjunto de avaliação original e de 0,7313 para 0,5394 (26 %) em um conjunto mais difícil coletado separadamente.
O conjunto mais difícil tem dificuldade mediana de trajetória (variação média de altura por segundo) de 0,2253 m/s contra 0,0866 m/s do original, e 87 % de suas trajetórias excedem a mediana original.

Limitações

Ainda não foi testado se a melhor previsão da dinâmica é suficiente para navegar em terreno acidentado; integrar os modelos a uma pilha de navegação com funções de custo e planejadores adequados fica para trabalho futuro.
A previsão auxiliar de observações sensoriais traz pouco benefício por causa da observabilidade parcial da condução no mundo real.
Os modelos latentes não são treinados em sequências longas o bastante para aprender qualquer forma de mapeamento ou SLAM, o que limita o raciocínio de longo prazo.
Com a perda contrastiva, os modelos de séries temporais e de todas as modalidades têm desempenho essencialmente igual.
Os dados vêm de um único veículo em um único campo de testes, conduzido por teleoperação humana em vez de controles aleatórios por segurança, com os freios acionados por um motorista humano.

Impacto na área

O artigo foi finalista do prêmio ICRA 2022 Outstanding Learning Paper e tem 113 citações. O conjunto de dados é disponibilizado em https://github.com/castacks/tartan_drive, junto com um apêndice que traz as arquiteturas de rede e os hiperparâmetros de treinamento.

Resumo

Apresentamos o TartanDrive, um conjunto de dados em larga escala para aprender modelos dinâmicos de condução off-road. Coletamos um conjunto de dados de aproximadamente 200.000 interações de condução off-road em um ATV Yamaha Viking modificado, com sete modalidades de sensoriamento distintas em terrenos diversos. Até onde os autores sabem, este é o maior conjunto de dados multimodal de condução off-road do mundo real, tanto em número de interações quanto em modalidades de sensoriamento. Também avaliamos neste conjunto de dados vários métodos de ponta de aprendizado por reforço baseado em modelo a partir de observações de alta dimensão. Constatamos que estender esses modelos à multimodalidade leva a um desempenho significativo na previsão da dinâmica off-road, especialmente nos terrenos mais desafiadores. Também identificamos algumas deficiências das arquiteturas de redes neurais atuais para a tarefa de condução off-road. Nosso conjunto de dados está disponível em https://github.com/castacks/tartan_drive.

Open Source Robotics