A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

저자: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

원반 모양 입자 로봇을 위한 2D Pymunk/Gym 시뮬레이터로, 항법 및 물체 밀기 작업을 제공한다. DQN, A2C, PPO는 군집을 움직이지만 수작업 파동 정책에는 크게 못 미친다.

중요한 이유

입자 로봇은 개별 능력을 강인성과 맞바꾼다. 논문의 무반응 로봇 작업은 일부 로봇이 고장 난 상태에서도 시스템이 계속 작동하는 모습을 보여준다. 공유되고 수정 가능한 환경 덕분에 연구자들은 하드웨어를 만들기 전에 이러한 군집을 위한 학습된 제어기를 시뮬레이션에서 시험할 수 있다. 벤치마크는 표준 DRL 알고리즘이 아직 이 작업들을 풀지 못함을 보여주며, 이는 새로운 방법에 명확한 기준선을 제공한다.

문제

통계역학에서 영감을 받은 입자 로봇은 팽창과 수축만 할 수 있고 스스로 움직일 수 없으므로, 모든 작업에 많은 로봇의 협응 제어가 필요하다. 그 제어는 손으로 유도한 팽창–수축 파동 정책에 국한되어 왔으며, 로봇 설계와 작업마다 새로운 정책을 유도하는 일은 번거롭다. 기존 다중 에이전트 강화학습 환경은 격자 세계, 이산화된 상태, 또는 게임 설정을 사용하며 이러한 로봇을 시뮬레이션할 수 없다.

제안 방법

저자들은 Pymunk 물리와 Pygame 렌더링 위에 OpenAI Gym 인터페이스를 갖춘 Deep Particle Robot(DPR) 시뮬레이터를 구축한다. 원반 모양의 각 로봇은 완전 수축과 완전 팽창 사이를 전환하며, 패들의 자석이 이웃 로봇을 붙잡아 둔다. 시뮬레이터는 단순 항법, 게이트 통과 항법, 무반응 로봇이 있는 항법, 물체 조작을 제공하며, 모두 목표 방향으로 투영된 변위로 보상한다. 완전 관측 가능성을 가진 중앙 집중식 '슈퍼 에이전트'가 모든 로봇에 하나의 이진 팽창/수축 행동을 보내며, 작업들은 Stable-baselines3의 DQN, A2C, PPO로 수작업 파동 정책과 비교하여 벤치마크된다.

핵심 통찰

DRL 정책은 시스템이 파동 정책과 거의 같은 총거리를 이동하게 하지만 대부분 잘못된 방향으로 이동하며, 저자들은 이를 자기 추진은 풀기 시작했으나 항법에는 실패한 것으로 해석한다.
수작업 파동 정책은 더 어려운 작업에서 성능이 떨어지지만(장애물 항법에서 75%, 무반응 로봇이 있을 때 56%의 효과), DRL 정책에서는 그러한 뚜렷한 하락이 나타나지 않는다.
물체 조작에서 물체의 순변위 대비 투영 변위 비율은 모든 DRL 모델에서 0.97을 넘으므로, 거리는 파동 정책에 뒤처지지만 물체는 대부분 올바른 방향으로 밀린다.
저자들은 DRL의 약한 성능을, 슈퍼 에이전트가 모든 로봇에 대해 좋은 결합 행동을 추측할 확률이 낮아 학습이 행동 공간의 비효율적인 무작위 탐색에 의존하게 되기 때문이라고 본다.

주요 결과

파동 정책 대비 비율로 나타낸 단순 항법 순변위: 결과 절은 10.8%(DQN), 9.1%(A2C), 6.6%(PPO)를 제시한다. 같은 절의 뒤쪽 문장은 PPO의 단순 항법 수치를 9.1%로 제시한다.
DRL 항법 결과 9개(알고리즘 3개 × 항법 작업 3개) 중 8개에서 로봇은 올바른 방향으로 1단위 미만 이동한다(투영 변위).
파동 정책 대비 PPO의 순변위는 장애물 항법에서 25.4%, 무반응 로봇이 있을 때 26.5%로 오른다.
물체 조작에서 DQN과 PPO는 파동 정책 대비 9%의 효과를, A2C는 34%의 효과를 보여, A2C가 이 작업에서 가장 좋은 DRL 모델이다.
벤치마크는 에피소드당 2,500 스텝, 10,000,000 학습 타임스텝, [64, 128, 128, 128, 64] 네트워크, 그리고 0.0075에서 0으로 선형 감소하는 학습률을 사용한다.

한계

저자들은 현재의 DRL 알고리즘이 이 작업들에서 수작업 제어 정책에 한참 못 미친다고 결론짓는다.
중앙 집중식 슈퍼 에이전트 설정만 벤치마크되었다. 환경은 분산 제어를 지원하지만 이는 향후 과제로 남겨 두었다.
저자들은 슈퍼 에이전트 가정이 시스템을 제한한다고 언급한다. 예를 들어 로봇 수가 일정하게 유지되어야 한다.
시뮬레이터는 2D이다. 3D로의 확장과 로봇 사실성 개선이 계획되어 있으며, 원래의 입자 로봇 논문이 명확한 값을 제시하지 않으므로 패들 힘, 마찰력, 자기력은 부등식으로만 제한된다.
모든 결과는 이산적인 팽창/수축 행동 공간을 사용한 시뮬레이션 결과이며, 실제 입자 로봇은 사용되지 않았다.

분야에 미친 영향

이 논문은 ICRA 2022 Outstanding Coordination Paper award의 최종 후보에 올랐으며 인용 수는 8회이다. 저자들은 Deep Particle Robot 시뮬레이터 코드를 GitHub에 공개하며, 프로젝트 페이지에서 링크된다.

초록

입자 로봇은 이동을 집단적으로 강인하게 달성할 수 있지만 개별적으로는 달성할 수 없는, 생물에서 영감을 받은 새로운 로봇 시스템이다. 현재 그 제어는 기본 이동 작업을 위한 수작업 정책에 국한되어 있지만, 이러한 다중 로봇 시스템은 심층 강화학습(DRL)을 통해 다양한 작업에 대해 더 효율적으로 제어될 가능성이 있다. 그러나 입자 로봇 시스템은 기존 군집 로봇공학 시스템과는 다른 새로운 DRL 과제를 제기한다. 각 로봇의 낮은 자유도와 로봇 간 협응의 필요성 증가가 그것이다. 우리는 OpenAI Gym 인터페이스와 물리 엔진으로 Pymunk를 사용하는 2D 입자 로봇 시뮬레이터를 제시하고, 입자 로봇 시스템에서 충분히 탐구되지 않은 DRL 응용을 연구하기 위한 새로운 작업과 과제를 소개한다. 또한 Stable-baselines3를 사용하여 이 작업들에 대한 일련의 벤치마크를 제공한다. 현재의 기준 DRL 알고리즘은 작업을 달성할 조짐을 보이지만 아직 수작업 정책의 성능에는 도달하지 못한다. 제안된 작업을 달성하려면 DRL 알고리즘의 추가 개발이 필요하다.

링크

arXiv 2203.06464: https://arxiv.org/abs/2203.06464
DOI 10.1109/ICRA46639.2022.9811965: https://doi.org/10.1109/ICRA46639.2022.9811965
PDF: https://arxiv.org/pdf/2203.06464v1
코드: https://github.com/ai4ce/DeepParticleRobot
프로젝트 페이지: https://ai4ce.github.io/DeepParticleRobot