A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

Autores: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un simulador 2D en Pymunk/Gym para robots de partículas en forma de disco, con tareas de navegación y de empuje de objetos; DQN, A2C y PPO mueven el enjambre, pero quedan muy por debajo de una política de onda diseñada a mano.

Por qué importa

Los robots de partículas cambian capacidad individual por robustez: la tarea con robots que no responden muestra que el sistema sigue funcionando mientras algunos robots fallan. Un entorno compartido y modificable permite a los investigadores probar en simulación controladores aprendidos para estos enjambres antes de construir hardware. Los benchmarks muestran que los algoritmos de DRL estándar aún no resuelven estas tareas, lo que da a los nuevos métodos una línea base clara.

Problema

Los robots de partículas inspirados en la mecánica estadística solo pueden expandirse y contraerse y no pueden moverse por sí solos, por lo que cada tarea necesita un control coordinado de muchos robots. Su control se ha limitado a una política de onda de expansión–contracción derivada a mano, y derivar una nueva política para cada diseño de robot y cada tarea es tedioso. Los entornos existentes de aprendizaje por refuerzo multiagente usan mundos en cuadrícula, estados discretizados o escenarios de juego y no pueden simular estos robots.

Solución propuesta

Los autores construyen el simulador Deep Particle Robot (DPR) sobre la física de Pymunk y el renderizado de Pygame con una interfaz OpenAI Gym; cada robot en forma de disco alterna entre totalmente contraído y totalmente expandido, y unos imanes en las paletas mantienen unidos a los vecinos. Ofrece navegación simple, navegación a través de una puerta, navegación con robots que no responden y manipulación de objetos, todas recompensadas por el desplazamiento proyectado hacia la meta. Un 'superagente' centralizado con observabilidad total envía una única acción binaria de expandir/contraer a cada robot, y las tareas se evalúan con DQN, A2C y PPO de Stable-baselines3 frente a la política de onda diseñada a mano.

Ideas clave

Las políticas de DRL hacen que el sistema recorra aproximadamente la misma distancia total que la política de onda, pero sobre todo en la dirección equivocada, lo que los autores interpretan como empezar a resolver la autopropulsión sin lograr la navegación.
La política de onda diseñada a mano se degrada en las tareas más difíciles (un 75 % de eficacia en la navegación con obstáculos y un 56 % con robots que no responden), mientras que las políticas de DRL no muestran una caída tan clara.
En la manipulación de objetos, la relación entre el desplazamiento proyectado y el desplazamiento neto del objeto es superior a 0,97 para todos los modelos de DRL, de modo que el objeto se empuja mayoritariamente en la dirección correcta aunque la distancia quede por detrás de la de la política de onda.
Los autores atribuyen el débil rendimiento del DRL a la baja probabilidad de que el superagente acierte una buena acción conjunta para todos los robots, lo que hace que el entrenamiento dependa de una búsqueda aleatoria ineficiente en el espacio de acciones.

Resultados principales

Desplazamiento neto en navegación simple, como proporción del de la política de onda: la sección de resultados da un 10,8 % (DQN), un 9,1 % (A2C) y un 6,6 % (PPO); una frase posterior de la misma sección da para PPO en navegación simple un 9,1 %.
En ocho de los nueve resultados de navegación con DRL (tres algoritmos × tres tareas de navegación), los robots se mueven menos de una unidad en la dirección correcta (desplazamiento proyectado).
El desplazamiento neto de PPO respecto a la política de onda sube al 25,4 % en la navegación con obstáculos y al 26,5 % con robots que no responden.
En la manipulación de objetos, DQN y PPO tienen un 9 % de la eficacia de la política de onda y A2C un 34 %, lo que convierte a A2C en el mejor modelo de DRL en esa tarea.
Los benchmarks usan 2500 pasos por episodio, 10 000 000 pasos de tiempo de entrenamiento, una red [64, 128, 128, 128, 64] y una tasa de aprendizaje que decae linealmente de 0,0075 a 0.

Limitaciones

Los autores concluyen que los algoritmos de DRL actuales están lejos de igualar a la política de control diseñada a mano en estas tareas.
Solo se evalúa la configuración centralizada con superagente; el entorno admite control descentralizado, pero eso queda para trabajo futuro.
Los autores señalan que el supuesto del superagente limita el sistema; por ejemplo, el número de robots debe permanecer constante.
El simulador es 2D; está previsto extenderlo a 3D y mejorar el realismo de los robots, y las fuerzas de las paletas, de fricción y magnéticas solo están acotadas por una desigualdad, porque el artículo original sobre robots de partículas no da valores concretos.
Todos los resultados son en simulación, con el espacio de acciones discreto de expandir/contraer; no se usan robots de partículas físicos.

Impacto en el campo

El artículo fue finalista del premio ICRA 2022 Outstanding Coordination Paper y tiene 8 citas. Los autores publican el código del simulador Deep Particle Robot en GitHub, enlazado desde la página del proyecto.

Resumen

Los robots de partículas son sistemas robóticos novedosos de inspiración biológica en los que la locomoción puede lograrse de forma colectiva y robusta, pero no independiente. Aunque su control se limita actualmente a una política diseñada a mano para tareas básicas de locomoción, un sistema multirrobot de este tipo podría controlarse potencialmente mediante aprendizaje por refuerzo profundo (DRL) para distintas tareas de forma más eficiente. Sin embargo, el sistema de robots de partículas plantea al DRL un nuevo conjunto de retos que lo diferencian de los sistemas existentes de robótica de enjambre: los pocos grados de libertad de cada robot y la mayor necesidad de coordinación entre robots. Presentamos un simulador 2D de robots de partículas que usa la interfaz OpenAI Gym y Pymunk como motor de física, e introducimos nuevas tareas y retos para investigar las aplicaciones poco exploradas del DRL en el sistema de robots de partículas. Además, usamos Stable-baselines3 para ofrecer un conjunto de benchmarks para las tareas. Los algoritmos de DRL de referencia actuales muestran indicios de lograr las tareas, pero aún no consiguen alcanzar el rendimiento de la política diseñada a mano. Es necesario seguir desarrollando algoritmos de DRL para cumplir las tareas propuestas.

Enlaces

arXiv 2203.06464: https://arxiv.org/abs/2203.06464
DOI 10.1109/ICRA46639.2022.9811965: https://doi.org/10.1109/ICRA46639.2022.9811965
PDF: https://arxiv.org/pdf/2203.06464v1
Código: https://github.com/ai4ce/DeepParticleRobot
Página del proyecto: https://ai4ce.github.io/DeepParticleRobot