A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

作者: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個針對圓盤形粒子機器人的 2D Pymunk/Gym 模擬器，含導航與推物任務；DQN、A2C 與 PPO 能讓機器人群移動，但遠不及手工設計的波動策略。

為何重要

粒子機器人以個體能力換取強健性：論文中的無回應機器人任務顯示，部分機器人故障時系統仍能持續運作。一個共用、可修改的環境，讓研究人員能在打造硬體之前，先在模擬中測試這類機器人群的學習式控制器。基準顯示標準 DRL 演算法尚無法解決這些任務，這為新方法提供了明確的基準線。

問題

受統計力學啟發的粒子機器人只能膨脹與收縮，無法自行移動，因此每項任務都需要對許多機器人進行協調控制。它們的控制一直局限於人工推導的膨脹–收縮波動策略，而為每種機器人設計與任務推導新策略相當繁瑣。現有的多代理人強化學習環境使用網格世界、離散化狀態或遊戲設定，無法模擬這類機器人。

提出的方法

作者以 Pymunk 物理與 Pygame 繪製為基礎、搭配 OpenAI Gym 介面，建構 Deep Particle Robot（DPR）模擬器；每個圓盤形機器人在完全收縮與完全膨脹之間切換，槳片上的磁鐵把相鄰機器人吸在一起。它提供簡單導航、穿過閘門的導航、有無回應機器人時的導航，以及物體操作，全部以朝目標方向投影的位移作為獎勵。一個具完全可觀測性的集中式「超級代理人」向每個機器人送出一個二元的膨脹/收縮動作，這些任務以 Stable-baselines3 中的 DQN、A2C 與 PPO 進行基準測試，並與手工設計的波動策略比較。

關鍵見解

DRL 策略讓系統行進的總距離與波動策略大致相同，但大多朝錯誤的方向，作者將此解讀為已開始解決自我推進，卻在導航上失敗。
手工設計的波動策略在較難的任務上效果下降（在障礙物導航中為 75%，有無回應機器人時為 56%），而 DRL 策略則沒有這種明顯的下降。
在物體操作中，所有 DRL 模型的物體投影位移與淨位移之比都高於 0.97，因此儘管距離落後於波動策略，物體大多仍被推往正確的方向。
作者將 DRL 的不佳表現歸因於超級代理人為所有機器人猜中良好聯合動作的機率很低，使訓練依賴對動作空間低效率的隨機搜尋。

主要結果

簡單導航的淨位移（占波動策略的比例）：結果章節給出 10.8%（DQN）、9.1%（A2C）與 6.6%（PPO）；同一章節稍後的一句話則給出 PPO 的簡單導航數值為 9.1%。
在九個 DRL 導航結果中的八個（三種演算法 × 三種導航任務），機器人朝正確方向移動不到一個單位（投影位移）。
PPO 相對於波動策略的淨位移，在障礙物導航中升到 25.4%，有無回應機器人時升到 26.5%。
在物體操作中，DQN 與 PPO 的效果是波動策略的 9%，A2C 為 34%，使 A2C 成為該任務上最佳的 DRL 模型。
基準使用每回合 2,500 步、10,000,000 個訓練時間步、[64, 128, 128, 128, 64] 網路，以及從 0.0075 線性衰減到 0 的學習率。

限制

作者的結論是，目前的 DRL 演算法在這些任務上遠不及手工設計的控制策略。
只針對集中式超級代理人設定進行基準測試；環境支援分散式控制，但留待未來研究。
作者指出，超級代理人假設限制了系統，例如機器人數量必須維持不變。
模擬器為 2D；已計畫延伸到 3D 並提升機器人的真實度；由於原始粒子機器人論文沒有給出明確數值，槳片力、摩擦力與磁力只以一個不等式加以限制。
所有結果都是在模擬中、以離散的膨脹/收縮動作空間取得；沒有使用實體粒子機器人。

對領域的影響

該論文入圍 ICRA 2022 傑出協調論文獎決選，被引用 8 次。作者在 GitHub 上釋出 Deep Particle Robot 模擬器程式碼，並從專案頁面連結。

摘要

粒子機器人是一種新穎的仿生機器人系統，其行走運動能以集體且強健的方式達成，但無法獨立達成。雖然目前對它的控制僅限於用於基本行走運動任務的手工設計策略，但這樣的多機器人系統有可能透過深度強化學習（DRL），更有效率地針對不同任務加以控制。然而，粒子機器人系統為 DRL 帶來一組不同於現有群體機器人系統的新挑戰：每個機器人的自由度低，以及機器人之間協調的必要性增加。我們提出一個使用 OpenAI Gym 介面、以 Pymunk 作為物理引擎的 2D 粒子機器人模擬器，並引入新的任務與挑戰，以研究 DRL 在粒子機器人系統中尚未充分探索的應用。此外，我們使用 Stable-baselines3 為這些任務提供一組基準。目前的基準 DRL 演算法顯示出完成任務的跡象，但仍無法達到手工設計策略的效能。要完成所提出的任務，DRL 演算法需要進一步發展。

連結

arXiv 2203.06464: https://arxiv.org/abs/2203.06464
DOI 10.1109/ICRA46639.2022.9811965: https://doi.org/10.1109/ICRA46639.2022.9811965
PDF: https://arxiv.org/pdf/2203.06464v1
程式碼: https://github.com/ai4ce/DeepParticleRobot
專案頁面: https://ai4ce.github.io/DeepParticleRobot