A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

Auteurs: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un simulateur 2D Pymunk/Gym pour des robots particulaires en forme de disque, avec des tâches de navigation et de poussée d'objets ; DQN, A2C et PPO font bouger l'essaim mais restent loin derrière une politique d'onde conçue à la main.

Pourquoi c'est important

Les robots particulaires échangent la capacité individuelle contre la robustesse : la tâche de l'article avec des robots inertes montre le système qui continue de fonctionner alors que certains robots sont défaillants. Un environnement partagé et modifiable permet aux chercheurs de tester en simulation des contrôleurs appris pour de tels essaims avant de construire du matériel. Les benchmarks montrent que les algorithmes de DRL standard ne résolvent pas encore ces tâches, ce qui donne aux nouvelles méthodes une référence claire.

Problème

Les robots particulaires inspirés de la mécanique statistique ne peuvent que se dilater et se contracter et ne peuvent pas se déplacer seuls, de sorte que chaque tâche nécessite une commande coordonnée de nombreux robots. Leur commande s'est limitée à une politique d'onde de dilatation–contraction dérivée à la main, et dériver une nouvelle politique pour chaque conception de robot et chaque tâche est fastidieux. Les environnements existants d'apprentissage par renforcement multi-agent utilisent des mondes en grille, des états discrétisés ou des cadres de jeu et ne peuvent pas simuler de tels robots.

Solution proposée

Les auteurs construisent le simulateur Deep Particle Robot (DPR) sur la physique Pymunk et le rendu Pygame avec une interface OpenAI Gym ; chaque robot en forme de disque bascule entre totalement contracté et totalement dilaté, et des aimants sur les palettes maintiennent les voisins ensemble. Il propose la navigation simple, la navigation à travers une porte, la navigation avec des robots inertes et la manipulation d'objet, toutes récompensées par le déplacement projeté vers le but. Un « super-agent » centralisé à observabilité complète envoie une action binaire dilater/contracter à chaque robot, et les tâches sont évaluées avec DQN, A2C et PPO de Stable-baselines3 face à la politique d'onde conçue à la main.

Idées clés

• Les politiques de DRL font parcourir au système à peu près la même distance totale que la politique d'onde, mais surtout dans la mauvaise direction, ce que les auteurs interprètent comme un début de résolution de l'autopropulsion assorti d'un échec en navigation.
• La politique d'onde conçue à la main se dégrade sur les tâches plus difficiles (efficace à 75 % en navigation avec obstacles et à 56 % avec des robots inertes), alors que les politiques de DRL ne montrent pas de baisse aussi nette.
• En manipulation d'objet, le rapport entre le déplacement projeté et le déplacement net de l'objet dépasse 0,97 pour tous les modèles de DRL, de sorte que l'objet est poussé surtout dans la bonne direction même si la distance reste inférieure à celle de la politique d'onde.
• Les auteurs attribuent les faibles performances du DRL à la faible probabilité que le super-agent devine une bonne action conjointe pour tous les robots, ce qui rend l'entraînement dépendant d'une recherche aléatoire inefficace dans l'espace d'actions.

Principaux résultats

• Déplacement net en navigation simple, en part de la politique d'onde : la section des résultats donne 10,8 % (DQN), 9,1 % (A2C) et 6,6 % (PPO) ; une phrase ultérieure de la même section donne pour PPO en navigation simple le chiffre de 9,1 %.
• Dans huit des neuf résultats de navigation par DRL (trois algorithmes × trois tâches de navigation), les robots se déplacent de moins d'une unité dans la bonne direction (déplacement projeté).
• Le déplacement net de PPO par rapport à la politique d'onde monte à 25,4 % en navigation avec obstacles et à 26,5 % avec des robots inertes.
• En manipulation d'objet, DQN et PPO sont efficaces à 9 % de la politique d'onde et A2C à 34 %, ce qui fait d'A2C le meilleur modèle de DRL sur cette tâche.
• Les benchmarks utilisent 2 500 pas par épisode, 10 000 000 pas de temps d'entraînement, un réseau [64, 128, 128, 128, 64] et un taux d'apprentissage décroissant linéairement de 0,0075 à 0.

Limites

• Les auteurs concluent que les algorithmes de DRL actuels sont loin d'égaler la politique de commande conçue à la main sur ces tâches.
• Seule la configuration centralisée avec super-agent est évaluée ; l'environnement prend en charge la commande décentralisée, mais celle-ci est laissée à des travaux futurs.
• Les auteurs notent que l'hypothèse du super-agent limite le système, par exemple le nombre de robots doit rester constant.
• Le simulateur est en 2D ; son extension à la 3D et l'amélioration du réalisme des robots sont prévues, et les forces des palettes, de frottement et magnétiques ne sont bornées que par une inégalité, car l'article original sur les robots particulaires ne donne pas de valeurs précises.
• Tous les résultats proviennent de la simulation avec l'espace d'actions discret dilater/contracter ; aucun robot particulaire physique n'est utilisé.

Impact sur le domaine

L'article a été finaliste du ICRA 2022 Outstanding Coordination Paper award et compte 8 citations. Les auteurs publient le code du simulateur Deep Particle Robot sur GitHub, avec un lien depuis la page du projet.

Résumé

Les robots particulaires sont de nouveaux systèmes robotiques d'inspiration biologique dans lesquels la locomotion peut être obtenue collectivement et de façon robuste, mais pas individuellement. Si leur commande se limite actuellement à une politique conçue à la main pour des tâches de locomotion de base, un tel système multirobot pourrait potentiellement être commandé plus efficacement par apprentissage par renforcement profond (DRL) pour différentes tâches. Cependant, le système de robots particulaires pose au DRL un ensemble de nouveaux défis qui le distinguent des systèmes existants de robotique en essaim : le faible nombre de degrés de liberté de chaque robot et le besoin accru de coordination entre robots. Nous présentons un simulateur 2D de robots particulaires utilisant l'interface OpenAI Gym et Pymunk comme moteur physique, et introduisons de nouvelles tâches et de nouveaux défis pour étudier les applications peu explorées du DRL dans le système de robots particulaires. En outre, nous utilisons Stable-baselines3 pour fournir un ensemble de benchmarks pour ces tâches. Les algorithmes de DRL de référence actuels montrent des signes de réussite des tâches mais ne parviennent pas encore à atteindre les performances de la politique conçue à la main. Un développement plus poussé des algorithmes de DRL est nécessaire pour accomplir les tâches proposées.

Liens

• arXiv 2203.06464: https://arxiv.org/abs/2203.06464
• DOI 10.1109/ICRA46639.2022.9811965: https://doi.org/10.1109/ICRA46639.2022.9811965
• PDF: https://arxiv.org/pdf/2203.06464v1
• Code: https://github.com/ai4ce/DeepParticleRobot
• Page du projet: https://ai4ce.github.io/DeepParticleRobot