TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models
作者: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
一個 5 小時、630 條軌跡的越野資料集，來自配備七種模態的改裝 Yamaha Viking ATV，並附有潛在動力學模型基準；外部感知輸入在崎嶇地形上幫助最大。
為何重要
學習動力學模型需要數十萬量級的互動，而在越野環境中蒐集這些資料，對車輛與乘員都有風險。此資料集將動作與本體感知及外部感知資料配對，讓模型能在真實的車輛–地形互動上而非模擬中訓練與比較。基準也顯示目前架構的不足之處，例如在真實世界的部分可觀測性下，輔助觀測預測幾乎沒有幫助。
問題
越野機器人必須推理速度與接近角等動力學因素，而不只是地形幾何與語意，以免受困或損壞，而解析式地形模型的保真度低。現有的越野資料集大多針對語意分割，具有互動資料的資料集規模小或模態少；例如 Rellis-3D 只有約 20 分鐘（12,000 個資料點）的軌跡。
提出的方法
作者在匹茲堡的一處測試場地，以遠端操作駕駛一輛改裝的 Yamaha Viking ATV 穿越高草、岩石、泥地、水窪與陡坡，以 10 Hz 記錄油門與轉向動作、GNSS 姿態、立體 RGB 影像、由立體視覺導出的俯視高度圖與 RGB 地圖、IMU、避震器行程、車輪 RPM 與煞車介入。他們對潛在空間動力學模型進行基準測試：每種模態一個編碼器，以專家乘積融合，搭配 GRU 潛在模型與逐模態解碼器，分別以狀態、重建或對比損失訓練，並與運動學自行車模型比較。
關鍵見解
- 對一秒狀態位移的 t-SNE 分析顯示，相似的動作序列可能導致截然不同的運動，因此準確預測需要動作序列以外的特徵。
- 三種損失（狀態、重建、對比）的準確度相近，作者將其歸因於真實駕駛中的未來觀測難以預測，這與代理人處於靜態背景上的模擬基準不同。
- 本體感知的時間序列資料（IMU、避震器行程、車輪 RPM）是資訊量最大的輸入，因為車輪 RPM 與速度高度相關，但相機與地圖輸入仍能提升準確度。
- 地形越陡、越不平，外部感知輸入的幫助就越大。
主要結果
- 資料集規模：摘要與貢獻部分給出約 200,000 次互動，而資料集比較表（表 I）列出 184,000 個樣本；它以 630 條軌跡的形式蒐集，約五小時的駕駛。
- 使用狀態損失時 20 步後平均狀態預測的 RMSE：運動學自行車模型 1.1638、僅影像 0.5263、影像 + 地圖 0.3521、時間序列 0.2176、全部模態 0.1896；整體最低的是使用重建損失的全部模態，為 0.1674。
- 在僅影像模型中加入俯視地圖，使預測誤差降低 33%；從影像 + 地圖到全部模態，加入時間序列資料使準確度提升約 45%，在時間序列模型中加入影像模態則提升約 15%。
- 在本體感知之外加入外部感知，使原評估集上的誤差從 0.2176 降到 0.1896（13%），在另外蒐集、較難的資料集上從 0.7313 降到 0.5394（26%）。
- 較難資料集的軌跡難度中位數（每秒平均高度變化）為 0.2253 m/s，原資料集則為 0.0866 m/s，且其 87% 的軌跡超過原資料集的中位數。
限制
- 改善後的動力學預測是否足以支援崎嶇地形上的導航仍未經測試；將模型與合適的成本函數和規劃器整合進導航堆疊，留待未來研究。
- 由於真實世界駕駛的部分可觀測性，對感測觀測的輔助預測幾乎沒有好處。
- 潛在模型訓練所用的序列不夠長，無法學習任何形式的建圖或 SLAM，這限制了長期推理。
- 在對比損失下，時間序列模型與全部模態模型的表現基本相同。
- 資料來自一輛車、一處測試場地，為了安全由人工遠端操作駕駛而非隨機控制，煞車則由人類駕駛操作。
對領域的影響
該論文入圍 ICRA 2022 傑出學習論文獎決選，被引用 113 次。資料集發布於 https://github.com/castacks/tartan_drive ，並附有說明網路架構與訓練超參數的附錄。
摘要
我們提出 TartanDrive，一個用於學習越野駕駛動力學模型的大規模資料集。我們在多樣的地形中，以一輛配備七種不同感測模態的改裝 Yamaha Viking ATV，蒐集了約 200,000 次越野駕駛互動的資料集。據作者所知，無論就互動數量或感測模態而言，這都是最大的真實世界多模態越野駕駛資料集。我們也在此資料集上，對幾種以高維觀測為輸入、最先進的基於模型之強化學習方法進行基準測試。我們發現，將這些模型延伸到多模態，會在越野動力學預測上帶來顯著的效能，尤其是在更具挑戰性的地形中。我們也找出目前神經網路架構在越野駕駛任務上的一些缺點。我們的資料集可在 https://github.com/castacks/tartan_drive 取得。
連結
- arXiv 2205.01791: https://arxiv.org/abs/2205.01791
- DOI 10.48550/arXiv.2205.01791: https://doi.org/10.48550/arXiv.2205.01791
- PDF: https://arxiv.org/pdf/2205.01791v1
- 程式碼: https://github.com/castacks/tartan_drive