Legged Locomotion in Challenging Terrains using Egocentric Vision

作者: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

先在低成本的地形取樣上進行 RL，再蒸餾到深度輸入，為 A1 四足機器人得到一個從深度到關節角度的策略，能爬樓梯和路緣，並跨越間隙與踏腳石。

為何重要

部署的策略只用一個深度攝影機，不需要高程地圖、定位或 MPC，因此能在機器人機上的 UP 板與 Jetson NX 上執行。像是在樓梯上大幅髖關節外展這類步態是在訓練中自然出現的，讓一台髖高 28 cm 的機器人能爬上接近自身高度的台階。

問題

以視覺為基礎的腿式行走運動，通常拆成高程地圖建置與落腳點規劃，而高程地圖需要把多張深度影像與里程計的姿態估測融合。姿態漂移與感測器雜訊讓這些地圖在間隙與踏腳石上並不可靠，而且小型、低成本的機器人上沒有額外的攝影機、光達與運算資源。小型機器人也無法仰賴預先定義的步態先驗，來跨越接近自身高度的障礙物。

提出的方法

第 1 階段在模擬中以 PPO 訓練一個策略，使用 scandots（在機器人下方固定點取樣的地形高度）與特權資訊，採用以能量為基礎的獎勵，且不使用步態先驗。第 2 階段以 DAgger 將它蒸餾成一個遞迴策略，可以是單體式的 GRU，也可以是為凍結的基礎策略提供輸入的 RMA 式估測器；此策略以 50 Hz 把以自我為中心的深度與本體感覺直接映射成目標關節角度，並利用記憶推斷後腳下方的地形。

關鍵見解

• 算繪深度會讓模擬慢上一個數量級；先在低成本的 scandots 上執行 RL，再以監督式學習蒸餾到深度，讓整個系統能在單一 GPU 上花幾天完成訓練。
• 遞迴策略可以記住前置攝影機稍早看到的地形來放置後腳，取代明確的高程地圖。
• 在沒有步態先驗的情況下，適合小型機器人的行為（例如以大幅髖關節外展跨過樓梯邊緣）會從最小化能量的獎勵中自然出現。
• 若 scandots 與攝影機視野的選擇讓第 2 階段的模仿損失維持在低檔，就能證明第 2 階段策略的回報接近最佳（定理 2.1）。
• 以高程地圖為基礎的流程需要很大的訓練雜訊來應付姿態漂移；在模擬中，這個「noisy」基準在踏腳石上幾乎無法前進。

主要結果

• 真實世界：上下樓梯（高 17 cm、深 30 cm、13 階）成功率 100%，跨越 26 cm 間隙成功率 100%，踏腳石（寬 30 cm、間隔 15 cm）成功率 94%；盲走基準在上樓梯、間隙與踏腳石上的成功率皆為 0%。
• 模擬總計：平均前進位移為 134.18 m（RMA）與 135.85 m（單體式），基準則為 73.05 m（noisy）與 84.79 m（blind）；平均跌倒時間為 278.45 s 與 275.01 s，基準則為 147.83 s 與 175.06 s。
• 模擬踏腳石：RMA 與單體式策略分別前進 18.83 m 與 20.72 m，noisy 與 blind 基準則分別前進 1.09 m 與 1.02 m。
• 在模擬斜坡上，視覺策略比基準走得更遠：依結果一節的內文最多多 27%，依表 1 的說明文字最多多 25%。
• 城市測試中的樓梯高度：依城市環境一節，最高 24 cm（最窄寬度 28 cm）；依引言，最高 25 cm，為髖高的 89%；路緣最高 26 cm。
• 盲走基準每次都能完成下樓梯任務，但用的是高衝擊、近似跌落的步態，在試驗期間讓機器人的右後髖關節脫落。

限制

• 當模擬與真實世界的視覺或地形不同時，仍會發生失敗；在這種做法中唯一的修正方式，是在模擬中重建該情況並重新訓練，作者稱之為根本性的限制。
• 機器人只在環境中移動，並不與環境互動；加裝手臂是未來研究。
• 由於機身下方的地形來自視覺記憶，機器人有時會在樓梯上踩空一階（它能恢復），在戶外有時會卡在裂縫中。
• 真實世界的比較使用了不同的第 2 階段策略：樓梯使用內建的前置攝影機，間隙與踏腳石則使用外部安裝的頂部攝影機。
• 在硬體上，此方法只與盲走基準比較；高程地圖（noisy）基準只在模擬中測試。

對領域的影響

獲得 CoRL 2022 最佳系統論文獎，被引用 373 次。論文在專案頁面上發布了影片；沒有說明是否釋出程式碼。

摘要

動物能利用視覺做出精確而敏捷的行走運動。複製這種能力一直是機器人學的長期目標。傳統做法是把這個問題分解成高程地圖建置與落腳點規劃兩個階段。然而，高程地圖建置容易失敗、有很大的雜訊假影、需要專門的硬體，而且在生物學上並不合理。本文提出第一個能通過樓梯、路緣、踏腳石與間隙的端對端行走運動系統。我們在一台中型四足機器人上，以單一前置深度攝影機展示這項成果。機器人體型小，因此必須找出在其他地方沒見過的特殊步態模式。以自我為中心的攝影機，要求策略記住過去的資訊，以估計後腳下方的地形。我們在模擬中訓練策略。訓練分成兩個階段：首先，我們使用一種計算成本低的深度影像變體，以強化學習訓練一個策略；接著在第 2 階段，以監督式學習把它蒸餾成使用深度的最終策略。所得策略能轉移到真實世界，並能在機器人有限的運算資源上即時執行。它能通過各式各樣的地形，同時對推擠、濕滑表面與多岩石地形等擾動保持強健。影片請見 https://vision-locomotion.github.io

連結

• arXiv 2211.07638: https://arxiv.org/abs/2211.07638
• DOI 10.48550/arXiv.2211.07638: https://doi.org/10.48550/arXiv.2211.07638
• PDF: https://proceedings.mlr.press/v205/agarwal23a/agarwal23a.pdf
• 專案頁面: https://vision-locomotion.github.io/