A Deep Reinforcement Learning Environment for Particle Robot Navigation and Object Manipulation

Autoren: Jeremy Shen, Erdong Xiao, Yuchen Liu, Chen Feng · ICRA 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein 2D-Simulator auf Basis von Pymunk/Gym für scheibenförmige Partikelroboter mit Navigations- und Objektschiebeaufgaben; DQN, A2C und PPO bewegen den Schwarm, bleiben aber weit hinter einer handentworfenen Wellen-Policy zurück.

Warum es wichtig ist

Partikelroboter tauschen individuelle Fähigkeiten gegen Robustheit: Die Aufgabe mit nicht reagierenden Robotern im Paper zeigt, dass das System weiterarbeitet, während einige Roboter defekt sind. Eine gemeinsame, veränderbare Umgebung lässt Forschende gelernte Regler für solche Schwärme in der Simulation testen, bevor sie Hardware bauen. Die Benchmarks zeigen, dass Standard-DRL-Algorithmen diese Aufgaben noch nicht lösen, was neuen Methoden eine klare Baseline gibt.

Problem

Von der statistischen Mechanik inspirierte Partikelroboter können sich nur ausdehnen und zusammenziehen und sich nicht allein bewegen, daher erfordert jede Aufgabe die koordinierte Steuerung vieler Roboter. Ihre Steuerung war auf eine von Hand hergeleitete Expansions-Kontraktions-Wellen-Policy beschränkt, und für jedes Roboterdesign und jede Aufgabe eine neue Policy herzuleiten, ist mühsam. Bestehende Umgebungen für Multi-Agenten-Reinforcement-Learning verwenden Gitterwelten, diskretisierte Zustände oder Spielszenarien und können solche Roboter nicht simulieren.

Lösungsansatz

Die Autoren bauen den Deep-Particle-Robot-Simulator (DPR) auf Pymunk-Physik und Pygame-Rendering mit einer Schnittstelle von OpenAI Gym auf; jeder scheibenförmige Roboter wechselt zwischen vollständig zusammengezogen und vollständig ausgedehnt, und Magnete an den Paddeln halten Nachbarn zusammen. Er bietet einfache Navigation, Navigation durch ein Tor, Navigation mit nicht reagierenden Robotern und Objektmanipulation, jeweils belohnt durch die in Zielrichtung projizierte Verschiebung. Ein zentralisierter ‚Super-Agent‘ mit vollständiger Beobachtbarkeit sendet eine binäre Aktion Ausdehnen/Zusammenziehen an jeden Roboter, und die Aufgaben werden mit DQN, A2C und PPO aus Stable-baselines3 gegen die handentworfene Wellen-Policy gebenchmarkt.

Wichtigste Erkenntnisse

DRL-Policies lassen das System etwa dieselbe Gesamtstrecke zurücklegen wie die Wellen-Policy, aber überwiegend in die falsche Richtung, was die Autoren so deuten, dass die Selbstfortbewegung allmählich gelöst wird, während die Navigation scheitert.
Die handentworfene Wellen-Policy verschlechtert sich bei schwierigeren Aufgaben (75 % so effektiv bei der Navigation mit Hindernissen und 56 % mit nicht reagierenden Robotern), während die DRL-Policies keinen solchen deutlichen Rückgang zeigen.
Bei der Objektmanipulation liegt das Verhältnis von projizierter zu Netto-Verschiebung des Objekts für alle DRL-Modelle über 0,97, sodass das Objekt überwiegend in die richtige Richtung geschoben wird, auch wenn die Strecke hinter der Wellen-Policy zurückbleibt.
Die Autoren führen die schwache DRL-Leistung auf die geringe Wahrscheinlichkeit zurück, dass der Super-Agent eine gute gemeinsame Aktion für alle Roboter errät, wodurch das Training von einer ineffizienten Zufallssuche im Aktionsraum abhängt.

Hauptergebnisse

Netto-Verschiebung bei einfacher Navigation als Anteil an der Wellen-Policy: Der Ergebnisteil nennt 10,8 % (DQN), 9,1 % (A2C) und 6,6 % (PPO); ein späterer Satz im selben Abschnitt nennt für PPO bei einfacher Navigation 9,1 %.
In acht der neun DRL-Navigationsergebnisse (drei Algorithmen × drei Navigationsaufgaben) bewegen sich die Roboter weniger als eine Einheit in die richtige Richtung (projizierte Verschiebung).
Die Netto-Verschiebung von PPO relativ zur Wellen-Policy steigt bei der Navigation mit Hindernissen auf 25,4 % und mit nicht reagierenden Robotern auf 26,5 %.
Bei der Objektmanipulation sind DQN und PPO 9 % so effektiv wie die Wellen-Policy und A2C 34 %, womit A2C das beste DRL-Modell für diese Aufgabe ist.
Die Benchmarks verwenden 2.500 Schritte pro Episode, 10.000.000 Trainingszeitschritte, ein Netz [64, 128, 128, 128, 64] und eine Lernrate, die linear von 0,0075 auf 0 abfällt.

Einschränkungen

Die Autoren schließen, dass aktuelle DRL-Algorithmen bei diesen Aufgaben weit davon entfernt sind, mit der handentworfenen Steuerungs-Policy mitzuhalten.
Nur der zentralisierte Super-Agent-Aufbau wird gebenchmarkt; die Umgebung unterstützt dezentrale Steuerung, doch diese bleibt künftiger Arbeit überlassen.
Die Autoren merken an, dass die Super-Agent-Annahme das System einschränkt, zum Beispiel muss die Anzahl der Roboter konstant bleiben.
Der Simulator ist 2D; eine Erweiterung auf 3D und mehr Realitätsnähe der Roboter sind geplant, und Paddel-, Reibungs- und Magnetkräfte sind nur durch eine Ungleichung begrenzt, weil das ursprüngliche Paper zu Partikelrobotern keine festen Werte angibt.
Alle Ergebnisse stammen aus der Simulation mit dem diskreten Aktionsraum Ausdehnen/Zusammenziehen; physische Partikelroboter werden nicht verwendet.

Wirkung auf das Fachgebiet

Das Paper war Finalist für den ICRA 2022 Outstanding Coordination Paper award und hat 8 Zitierungen. Die Autoren veröffentlichen den Code des Deep-Particle-Robot-Simulators auf GitHub, verlinkt von der Projektseite.

Zusammenfassung

Partikelroboter sind neuartige, biologisch inspirierte Robotersysteme, bei denen Fortbewegung kollektiv und robust, aber nicht einzeln erreicht werden kann. Während ihre Steuerung derzeit auf eine handentworfene Policy für grundlegende Fortbewegungsaufgaben beschränkt ist, könnte ein solches Multi-Roboter-System potenziell über tiefes bestärkendes Lernen (DRL) für verschiedene Aufgaben effizienter gesteuert werden. Das Partikelrobotersystem stellt DRL jedoch vor eine Reihe neuer Herausforderungen, die sich von bestehenden Systemen der Schwarmrobotik unterscheiden: die geringen Freiheitsgrade jedes Roboters und die erhöhte Notwendigkeit der Koordination zwischen Robotern. Wir stellen einen 2D-Partikelrobotersimulator vor, der die Schnittstelle von OpenAI Gym und Pymunk als Physik-Engine verwendet, und führen neue Aufgaben und Herausforderungen ein, um die wenig erforschten Anwendungen von DRL im Partikelrobotersystem zu untersuchen. Außerdem verwenden wir Stable-baselines3, um eine Reihe von Benchmarks für die Aufgaben bereitzustellen. Aktuelle Baseline-DRL-Algorithmen zeigen Anzeichen, die Aufgaben zu bewältigen, erreichen aber noch nicht die Leistung der handentworfenen Policy. Eine Weiterentwicklung der DRL-Algorithmen ist nötig, um die vorgeschlagenen Aufgaben zu lösen.

Open Source Robotics