TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models

著者: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

7 つのモダリティを備えた改造 Yamaha Viking ATV による、5 時間・630 本の軌跡からなるオフロードデータセットと、潜在ダイナミクスモデルのベンチマーク。外受容的な入力は荒れた地形で最も効果がある。

重要な理由

ダイナミクスモデルの学習には数十万規模のインタラクションが必要であり、それをオフロードで収集することは車両と乗員にとって危険を伴う。このデータセットは行動を固有受容感覚と外受容のデータと組み合わせているため、シミュレーションではなく実際の車両と地形のインタラクションでモデルを学習・比較できる。ベンチマークはまた、実世界の部分観測性のもとでは補助的な観測予測がほとんど役立たないなど、現在のアーキテクチャの不足点も示している。

課題

オフロードロボットは、立ち往生や損傷を避けるため、地形の幾何形状や意味だけでなく、速度や進入角といったダイナミクスについても推論しなければならないが、解析的な地形モデルは忠実度が低い。既存のオフロードデータセットは主にセマンティックセグメンテーションを対象としており、インタラクションのデータを含むものは小規模かモダリティが少ない。例えば Rellis-3D の軌跡は約 20 分（12,000 データ点）しかない。

提案手法

著者らは、ピッツバーグの試験場で改造 Yamaha Viking ATV をテレオペレーションで運転し、背の高い草、岩、泥、水たまり、急斜面を走行させ、スロットルとステアリングの行動、GNSS の姿勢、ステレオ RGB 画像、ステレオから得た上空視点の高さ地図と RGB 地図、IMU、サスペンションのストローク、車輪の RPM、ブレーキ介入を 10 Hz で記録した。潜在空間のダイナミクスモデルとして、モダリティごとに 1 つのエンコーダーを持ち専門家の積で融合し、GRU の潜在モデルとモダリティごとのデコーダーを備え、状態、再構成、または対照の損失で学習したものを、運動学的自転車モデルと比較してベンチマークした。

主な知見

1 秒間の状態変位に対する t-SNE 分析は、似た行動系列がまったく異なる動きにつながりうることを示しており、正確な予測には行動系列以外の特徴が必要である。
3 つの損失（状態、再構成、対照）は同程度の精度を示した。著者らはこれを、静的な背景の上にエージェントがいるシミュレーションのベンチマークとは異なり、実際の走行では将来の観測を予測しにくいためだとしている。
固有受容感覚の時系列データ（IMU、サスペンションのストローク、車輪の RPM）が最も情報量の多い入力である。車輪の RPM は速度と強く相関するためだが、カメラと地図の入力も精度をさらに高める。
地形が急で凹凸が大きくなるほど、外受容的な入力の効果は大きくなる。

主な結果

データセットの規模：要旨と貢献の節ではおよそ 200,000 回のインタラクションとされる一方、データセット比較表（表 I）では 184,000 サンプルとされている。630 本の軌跡、約 5 時間の走行として収集された。
状態損失を用いた 20 ステップ後の平均状態予測の RMSE：運動学的自転車モデル 1.1638、画像のみ 0.5263、画像 + 地図 0.3521、時系列 0.2176、全モダリティ 0.1896。全体で最も低かったのは再構成損失を用いた全モダリティで 0.1674 だった。
画像のみのモデルに上空視点の地図を加えると予測誤差が 33% 減少した。画像 + 地図から全モダリティへ時系列データを加えると精度がおよそ 45%、時系列モデルに画像モダリティを加えるとおよそ 15% 向上した。
固有受容感覚に外受容を加えると、元の評価セットで誤差が 0.2176 から 0.1896（13%）に、別途収集したより難しいセットで 0.7313 から 0.5394（26%）に下がった。
より難しいセットの軌跡難度（1 秒あたりの平均高さ変化）の中央値は 0.2253 m/s で、元のセットは 0.0866 m/s であり、その軌跡の 87% が元のセットの中央値を超える。

制限事項

改善されたダイナミクス予測が荒れた地形でのナビゲーションに十分かどうかは未検証である。適切なコスト関数やプランナーとともにモデルをナビゲーションスタックへ統合することは今後の課題とされている。
実世界の走行における部分観測性のため、センサー観測の補助的な予測による利点はほとんどない。
潜在モデルは、何らかの形のマッピングや SLAM を学習できるほど長い系列で学習されておらず、長期的な推論が制限されている。
対照損失のもとでは、時系列モデルと全モダリティのモデルの性能は実質的に同じである。
データは 1 台の車両と 1 つの試験場によるもので、安全のためランダムな制御ではなく人間のテレオペレーションで運転され、ブレーキは人間のドライバーが操作した。

分野への影響

この論文は ICRA 2022 優秀学習論文賞のファイナリストで、被引用数は 113 である。データセットは https://github.com/castacks/tartan_drive で、ネットワークアーキテクチャと学習のハイパーパラメータを記した付録とともに公開されている。

概要

オフロード走行のダイナミクスモデルを学習するための大規模データセット TartanDrive を提示する。7 種類の固有のセンシングモダリティを備えた改造 Yamaha Viking ATV を用いて、多様な地形でおよそ 200,000 回のオフロード走行インタラクションからなるデータセットを収集した。著者らの知る限り、これはインタラクション数とセンシングモダリティ数の両面で、実世界のマルチモーダルなオフロード走行データセットとして最大のものである。また、このデータセット上で、高次元の観測からのモデルベース強化学習のための最先端手法をいくつかベンチマークした。これらのモデルをマルチモダリティに拡張すると、特により難しい地形において、オフロードのダイナミクス予測で大きな性能が得られることがわかった。また、オフロード走行タスクに対する現在のニューラルネットワークアーキテクチャのいくつかの欠点も明らかにした。データセットは https://github.com/castacks/tartan_drive で公開されている。

リンク

arXiv 2205.01791: https://arxiv.org/abs/2205.01791
DOI 10.48550/arXiv.2205.01791: https://doi.org/10.48550/arXiv.2205.01791
PDF: https://arxiv.org/pdf/2205.01791v1
コード: https://github.com/castacks/tartan_drive