ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

作者: Dhruv Shah, Sergey Levine · RSS 2022

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

ViKiNG 將一個以影像為基礎的局部控制器，與一個由衛星影像或道路圖引導的類 A* 搜尋結合，以長度不到 80 m 的行駛資料訓練後，能抵達一公里以外的目標。

為何重要

它展示了便宜、不完美的地圖資料如何在不建立幾何地圖的情況下引導機器人長距離導航，同時在地圖過時時控制仍保持強健。沿著人行道與步道前進，以及從死路中退出，都來自訓練資料與搜尋，而不是人工撰寫的規則。

問題

被派往未見過的戶外環境中遠方目標的機器人，既需要局部可通行性的推理，也需要對更大範圍地理的了解。幾何建圖方法無法從先前的資料中獲益，學習而得的導航策略只達到很短的距離，而現有的地圖與 GPS（精度 2–5 m，為機器人尺寸的 4–10×）可能過時或錯誤，因此不能信任它們來做控制。

提出的方法

一個以 42 小時離線行駛資料訓練的潛在目標模型，接收目前影像與一張子目標影像，預測時間距離、下一個動作與 GPS 偏移；變分資訊瓶頸也讓它能取樣可抵達的候選子目標。第二個模型以對比式目標，在依 GPS 拼接起來的訓練軌跡上訓練，在給定俯視衛星影像或道路圖時，為子目標是否位於通往目標的路徑上評分。ViKiNG-A 是在行駛時建立的拓樸圖上進行的類 A 實體搜尋，只把該分數作為啟發式，而每一個行駛動作都來自相機影像。

關鍵見解

只把地理提示當作搜尋啟發式、並由相機影像進行控制，讓機器人在地圖過時（一輛卡車橫停在先前的路徑上）或錯誤（衛星影像偏移約 5 km）時仍能運作。
依 GPS 位置把彼此重疊的訓練軌跡拼接成更長的巨觀軌跡，讓啟發式能學會為遠超任何單一訓練行駛長度的目標評分。
提示的種類會改變行為：以道路圖訓練的模型沿著標示的道路走，而以衛星影像訓練的模型則會穿越草地以走更短的路徑。
沿人行道與森林步道前進等導航行為，承襲自訓練資料中遙控操作的部分；並沒有獨立的機制來獎勵沿著步道行進。
實體搜尋不同於圖搜尋：機器人無法跳到任意節點，也無法在行駛前得知邊的成本，因此 ViKiNG-A* 在每個候選的成本中加入行駛成本與一個以造訪次數計算的新穎性項。

主要結果

在 10 個未見過的環境中尋找目標（Table I）：ViKiNG 簡單（<50 m）3/3、中等（50–150 m）4/4、困難（150–500 m）3/3；RECON-H 為 3/3、3/4、1/3；GCG 為 3/3、2/4、0/3；行為複製與離線 PPO 為 2/3、1/4、0/3。
在較難的行駛中，發生人工接管之前（Table II），ViKiNG 的平均位移為 250.0+ m，速度 1.36 m/s；RECON-H 為 188.3 m、0.41 m/s；GCG 為 78.3 m、1.40 m/s；離線 PPO 為 47.2 m；行為複製為 19.5 m。
在未見過的校園與城市環境中進行了 1.05 km、1.20 km 與 1.55 km 的單次公里級行駛，一條有六個檢查點、爬升 70 m 的 2.73 km 健行步道（正文中寫作 2.7 km），以及一條完全無人工介入的 2.65 km 郊區巡檢環線。
摘要稱目標最遠達 3 km，引言則稱在 25 分鐘內抵達了 2 km 以外的目標；實驗中報告的最長行駛為 2.73 km 與 2.65 km。
沒有俯視影像（只用 GPS 距離啟發式）時，機器人耗時 17:20、行駛 0.73 km，有衛星影像時則為 06:40 與 0.31 km；既無 GPS 也無影像時，超過 30 分鐘仍未抵達目標。
部署時的平均速度為 1.36 m/s，訓練資料中則為 1.68 m/s，而訓練資料的軌跡平均長 45 m。

限制

論文沒有限制章節。其討論將使用其他提示來源（例如示意圖、紙本地圖或文字指示）列為未來的工作，並表示只使用了衛星影像，儘管 Section V-A 也測試了示意道路圖。
需要 GPS：既無 GPS 也無俯視影像時，搜尋變成無資訊搜尋，超過 30 分鐘仍未抵達目標。
基準比較的規模很小，10 個環境各只做一次試驗，目標最遠 500 m；公里級行駛以及過時與錯誤提示的測試都是單次展示。
啟發式本身只能在單一訓練軌跡的尺度上推理，Section III-C 稱最長 50 m，而摘要與 Section IV-B 給出的最長訓練軌跡為 80 m；長距離評分仰賴依 GPS 拼接軌跡。
在茂密的樹冠下，衛星影像不含有用資訊，因此在那裡的前進只仰賴以影像為基礎的局部模型。

對領域的影響

入圍 RSS 2022 最佳系統論文獎，被引用 121 次。論文沒有提供程式碼連結；其專案頁面分享實驗影片，包括機器人行駛的第三人稱視角。

摘要

機器人導航過去被當成 3D 重建與規劃的問題，也被當成端到端學習的問題。然而，長距離導航既需要對局部可通行性進行規劃與推理，也需要能夠運用全域地理資訊，這些資訊以道路圖、GPS 或其他輔助資訊的形式存在，能提供重要的導航提示，但可能精度低或不可靠。在本研究中，我們提出一種結合學習與規劃、以學習為基礎的方法，能把示意道路圖、衛星地圖與 GPS 座標等輔助資訊作為規劃啟發式，而不仰賴它們是準確的。我們的方法 ViKiNG 包含一個局部可通行性模型，它根據機器人目前的相機觀測與一個潛在子目標，推論該子目標有多容易抵達；以及一個啟發式模型，它根據俯視地圖，試著估計各個子目標到目的地的距離。啟發式規劃器使用這些模型來決定下一個最佳子目標，以抵達最終目的地。我們的方法不做顯式的幾何重建，只使用環境的拓樸表徵。儘管其訓練資料集中從未出現長於 80 公尺的軌跡，ViKiNG 仍能運用其以影像為基礎的學習控制器與目標導向的啟發式，在先前未見過的環境中導航到最遠 3 公里外的目標，並展現複雜的行為，例如試探可能的路徑，並在發現不可行時折返。ViKiNG 對不可靠的地圖與 GPS 也具有強健性，因為低階控制器最終是根據自我中心的影像觀測做決策，地圖只作為規劃啟發式。

連結

arXiv 2202.11271: https://arxiv.org/abs/2202.11271
DOI 10.15607/RSS.2022.XVIII.019: https://doi.org/10.15607/RSS.2022.XVIII.019
PDF: https://arxiv.org/pdf/2202.11271v1
專案頁面: https://sites.google.com/view/viking-release