Perceptive pedipulation with local obstacle avoidance
作者: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
針對 ANYmal 的端到端 RL 策略，在以整個身體避開障礙物的同時追蹤足部位置指令，使用 2.5D 高度掃描與一個允許刻意足部接觸的開關。
為何重要
控制介面仍只是單一的足部位置指令，因此人類操作員或高階規劃器能在障礙物附近使用它，而不必為整個身體規劃無碰撞運動。它讓四足機器人不需專用的機器手臂就能具備操作技能；作者指出，機器手臂會增加質量與複雜度，並降低負載能力。
問題
先前的足部操作策略只用本體感知追蹤足部位置指令，因此無法避開障礙物，會撞上路上的任何東西。在無感知策略之上加一個具障礙物感知的規劃器，身體其他部位仍可能發生碰撞，而為防止碰撞所需的大安全裕度又使其無法在狹窄空間中工作。
提出的方法
一個在 NVIDIA Isaac Lab 中訓練的單一 RL 策略，以本體感知、解析度 0.1 m 的 2.4 m × 1.6 m 高度掃描與足部位置指令為輸入，輸出關節位置偏移量。訓練分三個階段：先是搭配指令空間課程學習的無障礙物足部操作，接著在五個場景中加入可移動的長方體障礙物，並同時懲罰接觸事件與接觸力，最後加入高程地圖雜訊，以進行模擬到現實（sim-to-real）轉移。一個布林接觸開關決定是否懲罰右前腳的接觸，因此同一個策略既能避開障礙物，也能推動它。
關鍵見解
- 同時懲罰接觸事件與接觸力大小，可堵住兩種鑽漏洞的行為：以最小的力推動障礙物，以及以短暫的大力把它推開。
- 五個含長方體的靜態訓練場景，就足以讓策略避開沒見過的形狀與移動障礙物；作者推斷，它把高度掃描中每個被佔據的格子視為一根需要避開的空間柱，而不是辨識物體形狀。
- 使用可移動而非靜態地形的障礙物會花更多訓練時間，但能讓策略學會在接觸開關允許時推動物體。
- 先訓練無障礙物的足部操作，再加入障礙物，可以加快訓練。
- 此策略追蹤的是點而非軌跡，因此把腳伸到背後可能讓它停在不利於跟隨路徑其餘部分的姿態。
主要結果
- 在 1024 個取樣指令上的自由空間追蹤：接觸開關為 0（避開）時平均誤差 0.057 m，為 1（允許接觸）時為 0.047 m。
- 模擬中繞過牆角伸腳：先前的無感知策略撞上牆角並跌倒；具感知的策略走了較長的路徑並避免碰撞。
- 單一障礙物的模擬測試：四項測試中全都沒有自我碰撞或與環境的碰撞；當障礙物降低時，腳從上方越過而非繞行。
- 四個障礙物：在 1.3 m 的間隙下，策略不再轉動基座，而是把腳伸到背後，基座後側發生一些低力碰撞；順時針的指令路徑使追蹤表現下降。
- 在 ANYmal 硬體上，當指令穿過一個紙箱時，腳繞開了紙箱（重複五次），也繞開了一個訓練中沒見過的圓形金屬桶。
- 硬體上的接觸開關：開關設為 1 時，機器人把障礙物推倒以抵達指令位置，最終追蹤誤差為 0.073 m。
限制
- 作者表示，控制器對某些極端情況處理不佳，包括正好位於基座下方的障礙物，以及訓練中沒見過的狹窄空間。
- 2.5D 高度掃描只能表示適合 2.5D 地圖且大於格點間距的結構；作者呼籲採用 3D 表示法。
- 從側面而來的動態障礙物只在機器人右側被避開，反應速度則受限於高程地圖的更新頻率。
- 在模擬中，由於感知視野有限或沒有轉動基座的空間，策略有時會卡住。
- 避免以進行足部操作的那隻腳接觸，會略微降低自由空間追蹤準確度（0.057 m 對 0.047 m）。
對領域的影響
入圍 Humanoids 2024 最佳互動展示獎決選，被引用 12 次。論文未附程式碼、已訓練策略或資料的連結。
摘要
足部操作（pedipulation）利用足式機器人的腳進行移動式操作，不需要專用的機器手臂。先前的研究展示了無感知且針對特定任務的足部操作技能，但未能考量環境中的靜態與動態障礙物。為解決此限制，我們提出一種以強化學習為基礎的方法，訓練一個具障礙物感知的全身策略，在追蹤足部位置指令的同時避開障礙物。儘管此策略在模擬中只以五種不同的靜態場景訓練，我們證明它能泛化到障礙物數量與類型各不相同的未知環境。我們透過一系列模擬實驗分析此方法的效能，並成功把學到的策略部署到 ANYmal 四足機器人上，展現它在繞過靜態與動態障礙物的同時跟隨足部指令的能力。
連結
- arXiv 2409.07195: https://arxiv.org/abs/2409.07195
- DOI 10.1109/Humanoids58906.2024.10769896: https://doi.org/10.1109/Humanoids58906.2024.10769896
- PDF: https://arxiv.org/pdf/2409.07195v1