A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

Autores: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um simulador 2D em Pymunk/Gym para robôs de partículas em forma de disco, com tarefas de navegação e de empurrar objetos; DQN, A2C e PPO movem o enxame, mas ficam muito aquém de uma política de onda projetada à mão.

Por que importa

Robôs de partículas trocam capacidade individual por robustez: a tarefa com robôs que não respondem mostra o sistema continuando a operar enquanto alguns robôs estão com defeito. Um ambiente compartilhado e modificável permite que pesquisadores testem em simulação controladores aprendidos para esses enxames antes de construir hardware. Os benchmarks mostram que algoritmos de DRL padrão ainda não resolvem essas tarefas, o que dá aos novos métodos uma linha de base clara.

Problema

Robôs de partículas inspirados na mecânica estatística só podem se expandir e se contrair e não conseguem se mover sozinhos, então toda tarefa exige controle coordenado de muitos robôs. Seu controle tem se limitado a uma política de onda de expansão–contração derivada à mão, e derivar uma nova política para cada projeto de robô e cada tarefa é trabalhoso. Os ambientes existentes de aprendizado por reforço multiagente usam mundos em grade, estados discretizados ou cenários de jogos e não conseguem simular esses robôs.

Solução proposta

Os autores constroem o simulador Deep Particle Robot (DPR) sobre a física do Pymunk e a renderização do Pygame, com uma interface OpenAI Gym; cada robô em forma de disco alterna entre totalmente contraído e totalmente expandido, e ímãs nas pás mantêm os vizinhos unidos. Ele oferece navegação simples, navegação através de um portão, navegação com robôs que não respondem e manipulação de objetos, todas recompensadas pelo deslocamento projetado em direção ao objetivo. Um 'superagente' centralizado com observabilidade total envia uma única ação binária de expandir/contrair a cada robô, e as tarefas são avaliadas com DQN, A2C e PPO do Stable-baselines3 contra a política de onda projetada à mão.

Principais ideias

As políticas de DRL fazem o sistema percorrer aproximadamente a mesma distância total que a política de onda, mas principalmente na direção errada, o que os autores interpretam como começar a resolver a autopropulsão sem conseguir navegar.
A política de onda projetada à mão se degrada nas tarefas mais difíceis (75 % de eficácia na navegação com obstáculos e 56 % com robôs que não respondem), enquanto as políticas de DRL não mostram uma queda tão clara.
Na manipulação de objetos, a razão entre o deslocamento projetado e o deslocamento líquido do objeto fica acima de 0,97 para todos os modelos de DRL, de modo que o objeto é empurrado principalmente na direção certa, embora a distância fique atrás da política de onda.
Os autores atribuem o desempenho fraco do DRL à baixa probabilidade de o superagente acertar uma boa ação conjunta para todos os robôs, o que faz o treinamento depender de uma busca aleatória ineficiente no espaço de ações.

Principais resultados

Deslocamento líquido na navegação simples, como fração do da política de onda: a seção de resultados dá 10,8 % (DQN), 9,1 % (A2C) e 6,6 % (PPO); uma frase posterior da mesma seção dá 9,1 % como o valor do PPO na navegação simples.
Em oito dos nove resultados de navegação com DRL (três algoritmos × três tarefas de navegação), os robôs se movem menos de uma unidade na direção correta (deslocamento projetado).
O deslocamento líquido do PPO em relação à política de onda sobe para 25,4 % na navegação com obstáculos e para 26,5 % com robôs que não respondem.
Na manipulação de objetos, DQN e PPO têm 9 % da eficácia da política de onda e o A2C 34 %, o que torna o A2C o melhor modelo de DRL nessa tarefa.
Os benchmarks usam 2.500 passos por episódio, 10.000.000 de passos de tempo de treinamento, uma rede [64, 128, 128, 128, 64] e uma taxa de aprendizado com decaimento linear de 0,0075 a 0.

Limitações

Os autores concluem que os algoritmos de DRL atuais estão longe de igualar a política de controle projetada à mão nessas tarefas.
Apenas a configuração centralizada com superagente é avaliada; o ambiente suporta controle descentralizado, mas isso fica para trabalho futuro.
Os autores observam que a hipótese do superagente limita o sistema; por exemplo, o número de robôs precisa permanecer constante.
O simulador é 2D; estendê-lo para 3D e melhorar o realismo dos robôs está nos planos, e as forças das pás, de atrito e magnéticas são apenas limitadas por uma desigualdade, porque o artigo original sobre robôs de partículas não dá valores definidos.
Todos os resultados são em simulação, com o espaço de ações discreto de expandir/contrair; nenhum robô de partículas físico é usado.

Impacto na área

O artigo foi finalista do prêmio ICRA 2022 Outstanding Coordination Paper e tem 8 citações. Os autores disponibilizam o código do simulador Deep Particle Robot no GitHub, com link na página do projeto.

Resumo

Robôs de partículas são sistemas robóticos inovadores de inspiração biológica nos quais a locomoção pode ser obtida de forma coletiva e robusta, mas não independente. Embora seu controle esteja atualmente limitado a uma política projetada à mão para tarefas básicas de locomoção, esse sistema multirrobô poderia potencialmente ser controlado por aprendizado por reforço profundo (DRL) para diferentes tarefas de forma mais eficiente. No entanto, o sistema de robôs de partículas apresenta ao DRL um novo conjunto de desafios que o diferenciam dos sistemas existentes de robótica de enxame: os poucos graus de liberdade de cada robô e a maior necessidade de coordenação entre robôs. Apresentamos um simulador 2D de robôs de partículas que usa a interface OpenAI Gym e o Pymunk como motor de física, e introduzimos novas tarefas e desafios para pesquisar as aplicações pouco exploradas do DRL no sistema de robôs de partículas. Além disso, usamos o Stable-baselines3 para fornecer um conjunto de benchmarks para as tarefas. Os algoritmos de DRL de referência atuais mostram sinais de realizar as tarefas, mas ainda não conseguem atingir o desempenho da política projetada à mão. É necessário desenvolver mais os algoritmos de DRL para cumprir as tarefas propostas.

Open Source Robotics