A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

著者: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

円盤形の粒子ロボットのための 2D Pymunk/Gym シミュレーターで、ナビゲーションと物体押しのタスクを備える。DQN、A2C、PPO は群を動かせるが、手作りの波動方策には遠く及ばない。

重要な理由

粒子ロボットは個々の能力と引き換えに頑健性を得ている。論文の無反応ロボットのタスクは、一部のロボットが故障していてもシステムが動作し続けることを示している。共有でき改変可能な環境により、研究者はハードウェアを作る前に、このような群のための学習型コントローラーをシミュレーションで試験できる。ベンチマークは、標準的な DRL アルゴリズムがまだこれらのタスクを解けないことを示しており、新しい手法に明確なベースラインを与える。

課題

統計力学に着想を得た粒子ロボットは膨張と収縮しかできず、自力では移動できないため、どのタスクにも多数のロボットの協調制御が必要である。その制御は、手で導出された膨張–収縮の波動方策に限られてきたが、ロボットの設計やタスクごとに新しい方策を導出するのは手間がかかる。既存のマルチエージェント強化学習の環境は、グリッドワールド、離散化された状態、ゲームの設定を用いており、このようなロボットをシミュレーションできない。

提案手法

著者らは、Pymunk の物理演算と Pygame の描画の上に OpenAI Gym インターフェースを備えた Deep Particle Robot（DPR）シミュレーターを構築した。円盤形の各ロボットは完全収縮と完全膨張を切り替え、パドル上の磁石が隣接ロボット同士をつなぎとめる。単純なナビゲーション、ゲートを通るナビゲーション、無反応ロボットを含むナビゲーション、物体操作を提供し、いずれも目標方向へ投影した変位を報酬とする。完全可観測な中央集権型の「スーパーエージェント」が各ロボットに二値の膨張/収縮行動を 1 つ送り、各タスクは Stable-baselines3 の DQN、A2C、PPO を用いて、手作りの波動方策と比較してベンチマークされる。

主な知見

DRL 方策はシステムを波動方策とほぼ同じ総距離だけ移動させるが、大部分は誤った方向であり、著者らはこれを、自己推進は解け始めているがナビゲーションには失敗していると解釈している。
手作りの波動方策は難しいタスクで性能が落ちる（障害物ナビゲーションで 75%、無反応ロボットありで 56% の有効性）が、DRL 方策にはそのような明確な低下は見られない。
物体操作では、すべての DRL モデルで物体の投影変位と正味変位の比が 0.97 を上回っており、距離は波動方策に及ばないものの、物体はおおむね正しい方向に押されている。
著者らは、DRL の性能が低い原因を、スーパーエージェントがすべてのロボットにとって良い共同行動を当てる確率が低く、そのため学習が行動空間の非効率なランダム探索に依存することにあるとしている。

主な結果

単純なナビゲーションでの正味変位（波動方策に対する割合）：結果の節では 10.8%（DQN）、9.1%（A2C）、6.6%（PPO）とされているが、同じ節の後の文では PPO の単純ナビゲーションの値を 9.1% としている。
9 つの DRL ナビゲーション結果（3 アルゴリズム × 3 ナビゲーションタスク）のうち 8 つで、ロボットが正しい方向に動いた距離（投影変位）は 1 単位未満である。
波動方策に対する PPO の正味変位は、障害物ナビゲーションで 25.4%、無反応ロボットありで 26.5% に上がる。
物体操作では、DQN と PPO の有効性は波動方策の 9%、A2C は 34% であり、このタスクでは A2C が最良の DRL モデルとなっている。
ベンチマークでは、1 エピソードあたり 2,500 ステップ、10,000,000 学習タイムステップ、[64, 128, 128, 128, 64] のネットワーク、0.0075 から 0 まで線形に減衰する学習率を用いている。

制限事項

著者らは、現在の DRL アルゴリズムはこれらのタスクで手作りの制御方策には遠く及ばないと結論づけている。
ベンチマークされたのは中央集権型のスーパーエージェントの設定のみである。環境は分散制御に対応しているが、それは今後の課題とされている。
著者らは、スーパーエージェントの仮定がシステムを制約すると指摘しており、例えばロボットの数は一定でなければならない。
シミュレーターは 2D である。3D への拡張とロボットの現実性の向上が計画されている。元の粒子ロボットの論文が明確な値を示していないため、パドルの力、摩擦力、磁力は不等式で上限が与えられているだけである。
すべての結果は、離散的な膨張/収縮の行動空間を用いたシミュレーションでのものであり、物理的な粒子ロボットは使われていない。

分野への影響

この論文は ICRA 2022 優秀協調論文賞のファイナリストで、被引用数は 8 である。著者らは Deep Particle Robot シミュレーターのコードを GitHub で公開しており、プロジェクトページからリンクされている。

概要

粒子ロボットは、移動（ロコモーション）を個々では実現できないが、集団として頑健に実現できる、生物に着想を得た新しいロボットシステムである。その制御は現在、基本的な移動タスクのための手作りの方策に限られているが、このようなマルチロボットシステムは、深層強化学習（DRL）によってさまざまなタスクに対してより効率的に制御できる可能性がある。しかし粒子ロボットシステムは、既存の群ロボット工学のシステムとは異なる新たな課題を DRL にもたらす。すなわち、各ロボットの自由度が低いことと、ロボット間の協調の必要性が高いことである。我々は、OpenAI Gym インターフェースを用い、物理エンジンに Pymunk を使った 2D 粒子ロボットシミュレーターを提示し、粒子ロボットシステムにおける DRL の未開拓の応用を研究するための新しいタスクと課題を導入する。さらに、Stable-baselines3 を用いて、これらのタスクのための一連のベンチマークを提供する。現在のベースライン DRL アルゴリズムはタスク達成の兆しを見せるが、手作りの方策の性能にはまだ届かない。提案したタスクを達成するには、DRL アルゴリズムのさらなる発展が必要である。

リンク

arXiv 2203.06464: https://arxiv.org/abs/2203.06464
DOI 10.1109/ICRA46639.2022.9811965: https://doi.org/10.1109/ICRA46639.2022.9811965
PDF: https://arxiv.org/pdf/2203.06464v1
コード: https://github.com/ai4ce/DeepParticleRobot
プロジェクトページ: https://ai4ce.github.io/DeepParticleRobot