TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models
作者: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
一个 5 小时、630 条轨迹的越野数据集，来自配备七种模态的改装 Yamaha Viking ATV，并附有潜在动力学模型基准；外部感知输入在崎岖地形上帮助最大。
为何重要
学习动力学模型需要数十万量级的交互，而在越野环境中采集这些数据对车辆及乘员都有风险。该数据集将动作与本体感觉和外部感知数据配对，使模型能够在真实的车辆–地形交互上而非模拟中训练和比较。基准还表明了当前架构的不足之处，例如在真实世界的部分可观测性下，辅助观测预测几乎没有带来增益。
问题
越野机器人必须推理速度和接近角等动力学因素，而不仅仅是地形几何和语义，以免被困或损坏，而解析式地形模型的保真度较低。现有的越野数据集大多面向语义分割，带有交互数据的数据集规模小或模态少；例如 Rellis-3D 只有约 20 分钟（12,000 个数据点）的轨迹。
提出的方法
作者在匹兹堡的一处测试场地，以遥操作驾驶一辆改装的 Yamaha Viking ATV 穿越高草、岩石、泥地、水坑和陡坡，以 10 Hz 记录油门和转向动作、GNSS 位姿、双目 RGB 图像、由双目得到的俯视高度图和 RGB 地图、IMU、减震器行程、车轮 RPM 和刹车干预。他们对潜在空间动力学模型进行基准测试：每种模态一个编码器，通过专家乘积融合，配以 GRU 潜在模型和逐模态解码器，分别用状态、重建或对比损失训练，并与运动学自行车模型对比。
关键见解
- 对一秒状态位移的 t-SNE 分析表明，相似的动作序列可能导致截然不同的运动，因此准确预测需要动作序列之外的特征。
- 三种损失（状态、重建、对比）给出了相近的准确度，作者将其归因于在真实驾驶中未来观测难以预测，这与智能体处于静态背景上的模拟基准不同。
- 本体感觉时间序列数据（IMU、减震器行程、车轮 RPM）是信息量最大的输入，因为车轮 RPM 与速度高度相关，但相机和地图输入仍能提高准确度。
- 地形越陡、越不平坦，外部感知输入的帮助越大。
主要结果
- 数据集规模：摘要和贡献部分给出约 200,000 次交互，而数据集比较表（表 I）列出 184,000 个样本；它以 630 条轨迹的形式采集，约五小时驾驶。
- 使用状态损失时 20 步后平均状态预测的 RMSE：运动学自行车模型 1.1638，仅图像 0.5263，图像 + 地图 0.3521，时间序列 0.2176，全部模态 0.1896；总体最低的是使用重建损失的全部模态，为 0.1674。
- 在仅图像模型中加入俯视地图使预测误差降低 33%；从图像 + 地图到全部模态，加入时间序列数据使准确度提高约 45%，在时间序列模型中加入图像模态则提高约 15%。
- 在本体感觉之上加入外部感知，使原评估集上的误差从 0.2176 降至 0.1896（13%），在单独采集的更难数据集上从 0.7313 降至 0.5394（26%）。
- 更难数据集的轨迹难度中位数（每秒平均高度变化）为 0.2253 m/s，而原数据集为 0.0866 m/s，其 87% 的轨迹超过原数据集的中位数。
局限
- 改进的动力学预测是否足以支持在崎岖地形上的导航仍未经检验；将模型与合适的代价函数和规划器一起集成到导航栈中留待未来工作。
- 由于真实世界驾驶的部分可观测性，对传感观测的辅助预测带来的收益很小。
- 潜在模型训练所用的序列不够长，无法学习任何形式的建图或 SLAM，这限制了长期推理。
- 在对比损失下，时间序列模型和全部模态模型的表现基本相同。
- 数据来自一辆车、一个测试场地，出于安全考虑由人工遥操作驾驶而非随机控制，刹车由人类驾驶员操作。
对领域的影响
该论文入围 ICRA 2022 杰出学习论文奖决选，被引用 113 次。数据集发布在 https://github.com/castacks/tartan_drive ，并附有给出网络架构和训练超参数的附录。
摘要
我们提出 TartanDrive，一个用于学习越野驾驶动力学模型的大规模数据集。我们在多样的地形中，用一辆配备七种不同传感模态的改装 Yamaha Viking ATV，采集了约 200,000 次越野驾驶交互的数据集。据作者所知，无论从交互数量还是传感模态来看，这都是最大的真实世界多模态越野驾驶数据集。我们还在该数据集上对几种基于高维观测的最先进的基于模型的强化学习方法进行了基准测试。我们发现，将这些模型扩展到多模态，会在越野动力学预测上带来显著的性能，尤其是在更具挑战性的地形中。我们还发现了当前神经网络架构在越野驾驶任务上的一些不足。我们的数据集可在 https://github.com/castacks/tartan_drive 获取。
链接
- arXiv 2205.01791: https://arxiv.org/abs/2205.01791
- DOI 10.48550/arXiv.2205.01791: https://doi.org/10.48550/arXiv.2205.01791
- PDF: https://arxiv.org/pdf/2205.01791v1
- 代码: https://github.com/castacks/tartan_drive