A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

Autori: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un simulatore 2D in Pymunk/Gym per robot a particelle a forma di disco, con compiti di navigazione e di spinta di oggetti; DQN, A2C e PPO muovono lo sciame ma restano molto al di sotto di una policy a onda progettata a mano.

Perché è importante

I robot a particelle scambiano capacità individuale con robustezza: il compito con robot non reattivi mostra che il sistema continua a funzionare mentre alcuni robot sono guasti. Un ambiente condiviso e modificabile permette ai ricercatori di testare in simulazione controllori appresi per questi sciami prima di costruire l'hardware. I benchmark mostrano che gli algoritmi di DRL standard non risolvono ancora questi compiti, il che offre ai nuovi metodi una baseline chiara.

Problema

I robot a particelle ispirati alla meccanica statistica possono solo espandersi e contrarsi e non possono muoversi da soli, quindi ogni compito richiede il controllo coordinato di molti robot. Il loro controllo si è limitato a una policy a onda di espansione–contrazione derivata a mano, e derivare una nuova policy per ogni progetto di robot e ogni compito è laborioso. Gli ambienti esistenti di apprendimento per rinforzo multi-agente usano mondi a griglia, stati discretizzati o scenari di gioco e non possono simulare questi robot.

Soluzione proposta

Gli autori costruiscono il simulatore Deep Particle Robot (DPR) sulla fisica di Pymunk e sul rendering di Pygame, con un'interfaccia OpenAI Gym; ogni robot a forma di disco passa da completamente contratto a completamente espanso, e dei magneti sulle palette tengono uniti i vicini. Offre navigazione semplice, navigazione attraverso un varco, navigazione con robot non reattivi e manipolazione di oggetti, tutte ricompensate dallo spostamento proiettato verso l'obiettivo. Un 'super-agente' centralizzato con osservabilità completa invia a ogni robot un'unica azione binaria di espansione/contrazione, e i compiti sono valutati con DQN, A2C e PPO di Stable-baselines3 a confronto con la policy a onda progettata a mano.

Idee chiave

Le policy di DRL fanno percorrere al sistema all'incirca la stessa distanza totale della policy a onda, ma per lo più nella direzione sbagliata, il che gli autori interpretano come l'inizio della soluzione dell'autopropulsione senza riuscire nella navigazione.
La policy a onda progettata a mano peggiora nei compiti più difficili (efficace al 75 % nella navigazione con ostacoli e al 56 % con robot non reattivi), mentre le policy di DRL non mostrano un calo così netto.
Nella manipolazione di oggetti il rapporto tra spostamento proiettato e spostamento netto dell'oggetto è superiore a 0,97 per tutti i modelli di DRL, quindi l'oggetto viene spinto per lo più nella direzione giusta anche se la distanza resta inferiore a quella della policy a onda.
Gli autori attribuiscono le scarse prestazioni del DRL alla bassa probabilità che il super-agente indovini una buona azione congiunta per tutti i robot, il che rende l'addestramento dipendente da una ricerca casuale inefficiente nello spazio delle azioni.

Risultati principali

Spostamento netto nella navigazione semplice, come quota di quello della policy a onda: la sezione dei risultati riporta 10,8 % (DQN), 9,1 % (A2C) e 6,6 % (PPO); una frase successiva della stessa sezione riporta per PPO nella navigazione semplice il 9,1 %.
In otto dei nove risultati di navigazione con DRL (tre algoritmi × tre compiti di navigazione), i robot si muovono di meno di un'unità nella direzione corretta (spostamento proiettato).
Lo spostamento netto di PPO rispetto alla policy a onda sale al 25,4 % nella navigazione con ostacoli e al 26,5 % con robot non reattivi.
Nella manipolazione di oggetti, DQN e PPO sono efficaci al 9 % rispetto alla policy a onda e A2C al 34 %, il che rende A2C il miglior modello di DRL in quel compito.
I benchmark usano 2.500 passi per episodio, 10.000.000 di passi temporali di addestramento, una rete [64, 128, 128, 128, 64] e un tasso di apprendimento che decresce linearmente da 0,0075 a 0.

Limiti

Gli autori concludono che gli attuali algoritmi di DRL sono lontani dall'eguagliare la policy di controllo progettata a mano in questi compiti.
Viene valutata solo la configurazione centralizzata con super-agente; l'ambiente supporta il controllo decentralizzato, ma questo è lasciato a lavori futuri.
Gli autori osservano che l'ipotesi del super-agente limita il sistema; per esempio, il numero di robot deve rimanere costante.
Il simulatore è 2D; sono previsti l'estensione al 3D e un maggiore realismo dei robot, e le forze delle palette, di attrito e magnetiche sono solo limitate da una disuguaglianza, perché l'articolo originale sui robot a particelle non fornisce valori precisi.
Tutti i risultati sono in simulazione, con lo spazio delle azioni discreto espansione/contrazione; non vengono usati robot a particelle fisici.

Impatto sul settore

L'articolo è stato finalista del premio ICRA 2022 Outstanding Coordination Paper e ha 8 citazioni. Gli autori rilasciano il codice del simulatore Deep Particle Robot su GitHub, con link dalla pagina del progetto.

Abstract

I robot a particelle sono nuovi sistemi robotici di ispirazione biologica in cui la locomozione può essere ottenuta in modo collettivo e robusto, ma non indipendente. Sebbene il loro controllo sia attualmente limitato a una policy progettata a mano per compiti di locomozione di base, un sistema multi-robot di questo tipo potrebbe essere controllato in modo più efficiente tramite apprendimento per rinforzo profondo (DRL) per compiti diversi. Tuttavia, il sistema di robot a particelle pone al DRL un nuovo insieme di sfide che lo distinguono dai sistemi esistenti di robotica degli sciami: i pochi gradi di libertà di ciascun robot e la maggiore necessità di coordinamento tra i robot. Presentiamo un simulatore 2D di robot a particelle che usa l'interfaccia OpenAI Gym e Pymunk come motore fisico, e introduciamo nuovi compiti e sfide per studiare le applicazioni poco esplorate del DRL nel sistema di robot a particelle. Inoltre, usiamo Stable-baselines3 per fornire un insieme di benchmark per i compiti. Gli attuali algoritmi di DRL di riferimento mostrano segnali di riuscita nei compiti, ma non sono ancora in grado di raggiungere le prestazioni della policy progettata a mano. È necessario sviluppare ulteriormente gli algoritmi di DRL per portare a termine i compiti proposti.

Link

arXiv 2203.06464: https://arxiv.org/abs/2203.06464
DOI 10.1109/ICRA46639.2022.9811965: https://doi.org/10.1109/ICRA46639.2022.9811965
PDF: https://arxiv.org/pdf/2203.06464v1
Codice: https://github.com/ai4ce/DeepParticleRobot
Pagina del progetto: https://ai4ce.github.io/DeepParticleRobot