NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

作者: Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine · ICRA 2024

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

單一個擴散策略搭配可選、可遮罩的目標影像，同時處理探索與抵達目標；在 LoCoBot 上，它以約小 15× 的模型勝過影像子目標擴散方法。

為何重要

一個精簡的策略取代了以目標為條件的策略再加上另一個影像生成模型的組合，將模型大小從 335M 參數降到 19M，作者指出這適合運算能力較低的機載電腦。擴散頭在路口能保留多個無碰撞的選項，而在給定目標影像時仍能收斂到正確的路徑。它以公開的多機器人導航資料集（GNM 與 SACSoN）訓練，並在真實機器人上測試，而不只是在模擬中。

問題

機器人在陌生環境中尋找影像所示的目標時，需要兩種行為：與任務無關的探索以找到目標，以及找到之後的目標導向導航。先前的系統把兩者拆成不同的模型，例如一個以目標為條件的策略，再加上一個負責提出子目標影像、具 300M 參數的影像擴散模型。探索也需要表示多模態的動作分布，例如在路口向左或向右，而較簡單的策略類型會把這些模態平均掉。

提出的方法

NoMaD 擴充 ViNT Transformer 骨幹（EfficientNet-B0 編碼器、4 層、4 個注意力頭），加入一個二元目標遮罩來阻擋對目標 token 的注意力；訓練時以 0.5 的機率取樣此遮罩，讓一個策略學會兩種模式。觀測脈絡作為條件輸入一個 1D 條件式 U-Net 擴散模型，該模型以 10 個步驟將 8 個未來動作組成的序列去雜訊。此策略搭配拓樸圖記憶與基於邊界（frontier）的探索，沿用 ViKiNG 的設置。

關鍵見解

訓練時遮罩目標 token，讓單一網路能同時學會以目標為條件與無特定方向的行為，而且兩種模式的表現都沒有下降。
直接以擴散對動作建模，而非產生子目標影像，能以小得多的模型捕捉多模態的探索選擇。
對離散化動作進行自迴歸預測在原理上可以表示多個模態，但其預測大多是單模態的，部署後的策略動作不順暢，且對移動中的障礙物反應遲緩。
視覺編碼器的選擇很重要：採用以注意力為基礎之目標遮罩的 ViNT 編碼器搭配擴散訓練效果良好，而 ViT 編碼器則不然。

主要結果

在未見過環境中的探索：NoMaD 成功率 98%，每次實驗 0.2 次碰撞，相較於 Subgoal Diffusion 77% / 1.7（335M 參數）、Autoregressive 90% / 2.0、Random Subgoals 70% / 2.7、Masked ViNT 50% / 1.0 與 VIB 30% / 4.0。
在已知環境中搭配拓樸圖導航：NoMaD 成功率 90%，與 Subgoal Diffusion 和 Random Subgoals 相同。
統一策略與專用策略比較：NoMaD（19M）在無特定方向時成功率 98%、以目標為條件時成功率 92%，與 Diffusion Policy（15M，無特定方向 98%）及 ViNT 策略（16M，以目標為條件 92%）相當。
編碼器消融實驗：成功率 / 碰撞次數分別為後期融合 CNN 52% / 3.2、早期融合 CNN 68% / 1.5、ViT 32% / 2.5，以及 NoMaD 98% / 0.2。
NoMaD 使用 19M 參數，而 Subgoal Diffusion 為 335M，論文將此描述為少了 15×。
論文對測試環境給出兩個數目：評估設置（第 V 節）中為 6 個，表 I 的討論中則為 5 個。

限制

目標只能以影像指定，作者指出影像不一定是使用者最自然的方式；語言與空間座標留待未來研究。
高階規劃使用標準的基於邊界的探索策略；並未使用依據語意或先驗知識來選擇待探索區域的方式。
在探索中，NoMaD 在除了最困難的測試環境以外的所有環境中都成功了。
真實世界評估只使用一個機器人平台，也就是 LoCoBot。

對領域的影響

NoMaD 獲得 ICRA 2024 最佳會議論文獎，並入圍 ICRA 2024 認知機器人最佳論文獎與最佳學生論文獎決選。作者透過專案頁面釋出了程式碼與預訓練模型檢查點。

摘要

在陌生環境中導航的機器人學習，需要為兩種任務提供策略：任務導向的導航（也就是抵達機器人已找到的目標），以及與任務無關的探索（也就是在新環境中尋找目標）。這兩種角色通常由不同的模型負責，例如使用子目標提案、規劃或另外的導航策略。在本文中，我們說明如何訓練單一個統一的擴散策略，同時處理目標導向的導航與不依賴目標的探索：後者提供在新環境中搜尋的能力，前者則在找到使用者指定的目標後提供抵達該目標的能力。我們證明，在新環境中導航至以視覺方式指定的目標時，相較於使用生成模型產生子目標提案的方法，或先前基於潛在變數模型的方法，這個統一策略能帶來更好的整體表現。我們以一個在多種地面機器人資料上訓練、基於 Transformer 的大規模策略來實現我們的方法，並搭配擴散模型解碼器，以彈性處理以目標為條件與不依賴目標的導航。我們在真實世界移動機器人平台上進行的實驗顯示，與五種替代方法相比，此方法能在未見過的環境中有效導航，而且儘管使用的模型比最先進的方法更小，仍展現顯著的效能提升與更低的碰撞率。更多影片、程式碼與預訓練模型檢查點，請見 https://general-navigation-models.github.io/nomad/

連結

arXiv 2310.07896: https://arxiv.org/abs/2310.07896
PDF: https://arxiv.org/pdf/2310.07896v1
程式碼: https://github.com/PrieureDeSion/visualnav-transformer
專案頁面: https://general-navigation-models.github.io/nomad/