A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

作者: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个面向圆盘形粒子机器人的 2D Pymunk/Gym 模拟器，含导航和推物任务；DQN、A2C 和 PPO 能让机器人群移动，但远不及手工设计的波动策略。

为何重要

粒子机器人以个体能力换取鲁棒性：论文中的无响应机器人任务显示，部分机器人发生故障时系统仍能继续运行。一个共享、可修改的环境使研究人员能够在制造硬件之前，在模拟中测试此类机器人群的学习型控制器。基准表明，标准 DRL 算法尚不能解决这些任务，这为新方法提供了清晰的基线。

问题

受统计力学启发的粒子机器人只能膨胀和收缩，无法自行移动，因此每项任务都需要对许多机器人进行协调控制。它们的控制一直局限于手工推导的膨胀–收缩波动策略，而为每种机器人设计和任务推导新策略十分繁琐。现有的多智能体强化学习环境使用网格世界、离散化状态或游戏设定，无法模拟这类机器人。

提出的方法

作者基于 Pymunk 物理和 Pygame 渲染、以 OpenAI Gym 接口构建了 Deep Particle Robot（DPR）模拟器；每个圆盘形机器人在完全收缩和完全膨胀之间切换，桨片上的磁铁将相邻机器人吸在一起。它提供简单导航、穿过闸门的导航、有无响应机器人时的导航以及物体操作，均以朝目标方向投影的位移作为奖励。一个具有完全可观测性的集中式“超级智能体”向每个机器人发送一个二元的膨胀/收缩动作，这些任务用 Stable-baselines3 中的 DQN、A2C 和 PPO 进行基准测试，并与手工设计的波动策略对比。

关键见解

• DRL 策略使系统行进的总距离与波动策略大致相同，但大多朝着错误的方向，作者将此解读为开始解决自推进问题，但在导航上失败。
• 手工设计的波动策略在更难的任务上性能下降（在障碍物导航中效果为 75%，在有无响应机器人时为 56%），而 DRL 策略没有表现出这种明显下降。
• 在物体操作中，所有 DRL 模型的物体投影位移与净位移之比都高于 0.97，因此尽管距离落后于波动策略，物体大多被推向正确方向。
• 作者将 DRL 表现不佳归因于超级智能体为所有机器人猜中一个好的联合动作的概率很低，这使训练依赖于对动作空间低效的随机搜索。

主要结果

• 简单导航的净位移（占波动策略的比例）：结果部分给出 10.8%（DQN）、9.1%（A2C）和 6.6%（PPO）；同一部分后面的一句话给出 PPO 的简单导航数值为 9.1%。
• 在九个 DRL 导航结果中的八个（三种算法 × 三种导航任务）中，机器人朝正确方向移动不到一个单位（投影位移）。
• PPO 相对于波动策略的净位移在障碍物导航中升至 25.4%，在有无响应机器人时升至 26.5%。
• 在物体操作中，DQN 和 PPO 的效果为波动策略的 9%，A2C 为 34%，使 A2C 成为该任务上最好的 DRL 模型。
• 基准使用每回合 2,500 步、10,000,000 个训练时间步、[64, 128, 128, 128, 64] 网络，以及从 0.0075 线性衰减到 0 的学习率。

局限

• 作者的结论是，当前的 DRL 算法在这些任务上远不能与手工设计的控制策略相比。
• 只对集中式超级智能体设置进行了基准测试；环境支持分散式控制，但这留待未来工作。
• 作者指出，超级智能体假设限制了系统，例如机器人数量必须保持不变。
• 模拟器是 2D 的；计划将其扩展到 3D 并提高机器人的真实度；由于最初的粒子机器人论文没有给出确定数值，桨片力、摩擦力和磁力只由一个不等式加以约束。
• 所有结果均在模拟中、使用离散的膨胀/收缩动作空间得到；未使用实体粒子机器人。

对领域的影响

该论文入围 ICRA 2022 杰出协调论文奖决选，被引用 8 次。作者在 GitHub 上发布了 Deep Particle Robot 模拟器代码，并从项目页面链接。

摘要

粒子机器人是一种新颖的仿生机器人系统，其移动能力可以集体地、鲁棒地实现，但无法单独实现。尽管目前对它的控制仅限于用于基本移动任务的手工设计策略，但这样的多机器人系统有可能通过深度强化学习（DRL）更高效地针对不同任务进行控制。然而，粒子机器人系统给 DRL 带来了一组不同于现有群体机器人学系统的新挑战：每个机器人的自由度低，以及机器人之间协调的必要性增加。我们提出一个使用 OpenAI Gym 接口、以 Pymunk 为物理引擎的 2D 粒子机器人模拟器，并引入新的任务和挑战，以研究 DRL 在粒子机器人系统中尚未充分探索的应用。此外，我们使用 Stable-baselines3 为这些任务提供一组基准。当前的基线 DRL 算法显示出完成任务的迹象，但还无法达到手工设计策略的性能。要完成所提出的任务，需要进一步发展 DRL 算法。

链接

• arXiv 2203.06464: https://arxiv.org/abs/2203.06464
• DOI 10.1109/ICRA46639.2022.9811965: https://doi.org/10.1109/ICRA46639.2022.9811965
• PDF: https://arxiv.org/pdf/2203.06464v1
• 代码: https://github.com/ai4ce/DeepParticleRobot
• 项目主页: https://ai4ce.github.io/DeepParticleRobot