Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Goal-Conditioned Policy

  • Auch genannt: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
  • Kategorie: Learning & autonomy › RL & simulation
  • Schlagwörter: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning

Eine Regelungs-Policy, die neben ihren Beobachtungen ein Ziel als zusätzliche Eingabe erhält, sodass ein einziges gelerntes Modell viele verschiedene Ziele erreichen kann, statt für eine einzelne Aufgabe trainiert zu werden.

Definition

Zielkonditionierte Policies (Goal-Conditioned Policies) wählen Aktionen sowohl anhand der aktuellen Beobachtung als auch eines vorgegebenen Ziels, geschrieben π(a | s, g). Eine gewöhnliche Policy lernt, eine Sache zu tun; eine zielkonditionierte Policy lernt eine Familie von Verhaltensweisen, die durch das Ziel indiziert ist. Dasselbe Netz kann einen Roboter zu vielen Orten fahren, ein Objekt in vielen Posen ablegen oder jedes ihm gegebene Zielbild erreichen.

Ziele können viele Formen annehmen: eine Zielposition oder -pose, eine gewünschte Gelenkkonfiguration, ein Bild davon, wie die Szene aussehen soll, oder eine sprachliche Anweisung. In der Navigation sind Bildziele verbreitet: Dem Roboter wird ein Foto eines Ortes gezeigt, den er erreichen muss. In der Manipulation sind Ziele oft Zielposen von Objekten oder Bilder der gewünschten Anordnung.

Im Reinforcement Learning wird die Zielkonditionierung über zielkonditionierte Wertfunktionen formalisiert, etwa Universal Value Function Approximators, die schätzen, wie gut der Roboter jedes Ziel aus jedem Zustand erreichen kann. Eine praktische Schwierigkeit ist, dass Belohnungen für das Erreichen eines bestimmten Ziels selten sind. Hindsight Experience Replay begegnet dem, indem ein gescheiterter Versuch als Erfolg für das tatsächlich erreichte Ziel umgelabelt wird, sodass jede Trajektorie zu nützlichen Trainingsdaten wird.

Zielkonditionierung ist auch beim Imitation Learning aus großen Datensätzen zentral. Demonstrationen oder aufgezeichnete Play-Daten lassen sich mit Zielen umlabeln, die aus späteren Abschnitten derselben Trajektorie stammen, sodass ein einziger Datensatz der Policy beibringt, viele Ergebnisse zu erreichen. Zielkonditionierte Policies werden oft mit Planern oder Karten kombiniert, die eine Folge von Zwischenzielen liefern, sodass eine Policy mit kurzem Horizont Aufgaben mit langem Horizont bewältigen kann.

Warum es wichtig ist

Zielkonditionierte Policies lassen ein Modell viele Aufgaben bedienen, was teure Roboterdaten besser nutzt und Planern eine wiederverwendbare Low-Level-Fähigkeit zum Aufrufen bietet. Sie sind eine verbreitete Schnittstelle zwischen übergeordneter Aufgabenspezifikation und gelernter Regelung.

Wichtige Anwendungen

  • Navigation mit Bildzielen und Positionszielen
  • Multi-Task-Manipulation, bei der Zielpose oder Anordnung des Objekts variiert
  • Greif- und Schiebeaufgaben, trainiert mit Hindsight-Relabeling
  • Low-Level-Fähigkeiten, die in hierarchischen Systemen von Planern aufgerufen werden

In der Praxis

Ein Navigationsteam könnte eine Policy trainieren, die das aktuelle Kamerabild und ein Bild des Zielorts erhält und Geschwindigkeitsbefehle ausgibt. Die Trainingsdaten stammen aus protokollierten Roboterfahrten, bei denen spätere Frames desselben Laufs als Ziele für frühere Frames dienen. Im Einsatz liefert eine topologische Karte oder ein Planer eine Folge von Teilzielbildern, und die Policy fährt nacheinander auf jedes davon zu. Teams messen den Erfolg über zurückgehaltene Ziele hinweg und nicht nur über die im Training gesehenen Ziele.

Häufige Missverständnisse

  • Eine zielkonditionierte Policy kann jedes Ziel erreichen — sie generalisiert nur auf Ziele, die den im Training vertretenen ähneln
  • Zielkonditionierung gilt nur für Reinforcement Learning — sie ist im Imitation Learning ebenso verbreitet, wo Ziele aus Demonstrationsdaten umgelabelt werden
  • Eine zielkonditionierte Policy ersetzt die Planung — für lange Aufgaben braucht sie meist einen Planer oder eine Karte, die nahe Teilziele liefern

Wer das wissen sollte

  • Forschende im Roboterlernen, die an Reinforcement Learning und Imitation Learning arbeiten
  • Navigationsingenieure, die gelernte Regler einsetzen
  • Ingenieure, die hierarchische Planungs- und Regelungssysteme bauen

Verwandte Technologien

  • Reinforcement Learning
  • Hindsight Experience Replay
  • Universal Value Function Approximators
  • Imitation Learning
  • Diffusion Policy
  • Topologische Karte (Topological Map)

Verwandte Begriffe

  • Imitation Learning
  • Reinforcement Learning
  • Diffusion Policy

Verwandte Projekte

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.