Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Reward Shaping

  • Kategorie: Learning & autonomy › RL & simulation
  • Schlagwörter: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation

Das Hinzufügen zusätzlicher Terme zur Belohnung beim bestärkenden Lernen, damit der Agent nützliche Rückmeldung erhält, bevor er das Ziel zum ersten Mal erreicht, idealerweise ohne zu verändern, welches Verhalten optimal ist.

Definition

Reward Shaping verändert die Belohnungsfunktion eines Problems des bestärkenden Lernens, um das Lernen zu erleichtern. Viele Roboteraufgaben haben eine natürliche Belohnung, die spärlich ist: Der Agent erhält nur dann ein Signal, wenn die Schublade offen oder der Stift eingesetzt ist. Bei zufälliger Exploration erreicht ein Roboter diesen Zustand womöglich fast nie und erhält daher fast kein Lernsignal. Shaping fügt Zwischenterme hinzu, etwa den negativen Abstand vom Greifer zum Griff, einen Bonus für einen stabilen Griff oder den Fortschritt durch eine Folge von Teilzielen, sodass der Agent Rückmeldung erhält, lange bevor er zum ersten Mal erfolgreich ist.

Das Risiko besteht darin, dass die geformte Belohnung die Aufgabe verändert. Ein Roboter, der für die Nähe des Greifers belohnt wird, lernt womöglich, in der Nähe des Griffs zu schweben, ohne daran zu ziehen, und eine Belohnung für Vorwärtsgeschwindigkeit kann Gangarten hervorbringen, die Fehler im Simulator ausnutzen. Ng, Harada und Russell (1999) zeigten, dass Shaping-Terme einer bestimmten Form, F(s, s′) = γΦ(s′) − Φ(s) für eine über Zuständen definierte Potentialfunktion Φ, die optimalen Policies des ursprünglichen Problems unverändert lassen. Dies wird potentialbasiertes Reward Shaping genannt. Weil sich jede Belohnung, die beim Durchlaufen eines Zyklus von Zuständen gesammelt wird, unter solchen Termen zu null summiert, kann der Agent nicht von Schleifen profitieren, die die Aufgabe nicht voranbringen. Terme, die nicht diese Form haben, können die optimale Policy verändern. Das ist manchmal beabsichtigt, wenn die zusätzlichen Terme echte Präferenzen wie glatte Bewegung oder geringen Energieverbrauch ausdrücken, sollte aber eine bewusste Entscheidung sein.

In der Robotikpraxis kombinieren Belohnungen für Fortbewegung und Manipulation oft viele gewichtete Terme, und das Abstimmen ihrer Gewichte beansprucht einen großen Teil des Engineering-Aufwands. Ergänzungen und Alternativen sind Curriculum Learning, nachträgliches Umetikettieren von Zielen (hindsight relabeling), Lernen aus Demonstrationen, Inverse Reinforcement Learning und Belohnungen, die aus gelernten visuellen Repräsentationen berechnet werden, zum Beispiel eine Schätzung des Fortschritts hin zu einem Teilzielbild. Sie verringern den manuellen Belohnungsentwurf, bringen aber eigene Fehlermodi mit sich.

Warum es wichtig ist

Ob eine Lernaufgabe für einen Roboter überhaupt konvergiert, hängt oft von ihrer Belohnung ab. Durch Shaping werden die meisten simulierten Policies für Fortbewegung und Manipulation trainierbar, und schlecht geformte Belohnungen sind ein häufiger Grund für Policies, die im Training gut abschneiden, die beabsichtigte Aufgabe aber nicht ausführen.

Wichtige Anwendungen

  • Training von Manipulations-Policies, wenn Aufgabenerfolg spärlich ist
  • Belohnungen für Laufroboter, die Geschwindigkeitsfolge, Haltung und Energieterme kombinieren
  • Aufgaben mit langem Horizont, aufgeteilt in Teilziele mit Fortschrittsbelohnungen
  • Navigation mit Termen für den Abstand zum Ziel
  • Geschickte In-Hand-Manipulation, in Simulation trainiert

In der Praxis

Ein Team trainiert in Simulation eine Policy, die eine Schrankschublade öffnet. Mit einer Belohnung, die nur bei offener Schublade vergeben wird, macht das Training keine Fortschritte. Das Team fügt einen Term für den negativen Abstand vom Greifer zum Griff hinzu, einen Bonus bei jedem Ergreifen des Griffs und einen Term proportional dazu, wie weit die Schublade geöffnet ist. Die Policy lernt bald, hinzugreifen und zu greifen, stagniert dann aber, weil Loslassen und erneutes Greifen des Griffs den Greifbonus immer wieder einbringt. Das Team ersetzt den Bonus durch einen potentialbasierten Term, die Änderung von Schritt zu Schritt in einem Potential, das steigt, wenn sich die Schublade öffnet und der Greifer dem Griff nähert, sodass Pendeln zwischen Zuständen insgesamt nichts einbringt, und fügt eine kleine Strafe auf die Gelenkgeschwindigkeit für glattere Bewegung hinzu. Die endgültige Policy beurteilt es nach dem spärlichen Erfolgskriterium, nicht nach dem geformten Return.

Häufige Missverständnisse

  • Jeder zusätzliche Belohnungsterm ist harmlos, wenn er in Richtung Ziel zeigt — Terme, die nicht potentialbasiert sind, können die optimale Policy verändern und Reward Hacking begünstigen
  • Ein höherer geformter Return bedeutet eine bessere Policy — nur die Leistung beim eigentlichen Aufgabenziel zeigt, ob die Policy tut, was beabsichtigt war
  • Potentialbasiertes Shaping beschleunigt das Lernen immer — es erhält die optimalen Policies, aber ein schlecht gewähltes Potential kann die Exploration dennoch verlangsamen
  • Reward Shaping und Curriculum Learning sind dasselbe — Shaping verändert die Belohnung, ein Curriculum dagegen die Reihenfolge oder Schwierigkeit der Aufgaben und Umgebungen

Wer das wissen sollte

  • Ingenieure für bestärkendes Lernen, die Roboter-Policies trainieren
  • Forschende zu Fortbewegung und Manipulation, die in Simulation arbeiten
  • Simulationsingenieure, die Trainingsumgebungen einrichten
  • Studierende, die bestärkendes Lernen für die Robotik lernen

Verwandte Technologien

  • Potentialbasiertes Reward Shaping (Potential-Based Reward Shaping)
  • Spärliche Belohnungen (Sparse Rewards)
  • Hindsight Experience Replay
  • Curriculum Learning
  • Inverse Reinforcement Learning
  • Gelernte Belohnungsmodelle (Learned Reward Models)

Verwandte Begriffe

  • Reinforcement Learning
  • Markov Decision Process (MDP)
  • Curriculum Learning
  • Hindsight Experience Replay (HER)
  • Inverse Reinforcement Learning

Verwandte Projekte

  • GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware

Videos

  • Reward Shaping: Udacity

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.