Forward Dynamics Model

Auch genannt: forward model, dynamics model, transition model
Kategorie: Learning & autonomy › RL & simulation
Schlagwörter: dynamics, model-based-control, model-based-rl, simulation, prediction

Ein Modell, das vorhersagt, wie sich der Zustand eines Systems bei gegebenem aktuellem Zustand und angewandter Aktion ändert, sodass ein Roboter die Wirkung seiner Aktionen simulieren kann, bevor er sie ausführt.

Definition

Vorwärtsdynamikmodelle (Forward Dynamics Models) sagen den nächsten Zustand eines Systems aus seinem aktuellen Zustand und der darauf angewandten Aktion voraus. Kompakt geschrieben bilden sie Zustand und Aktion auf den nächsten Zustand oder auf die Änderungsrate des Zustands ab. Sie beantworten die Frage „Wenn ich das tue, was wird passieren?“, was sie zum Kernbestandteil von Simulation, modellbasierter Planung und modellbasiertem Reinforcement Learning macht.

In der klassischen Robotik hat Vorwärtsdynamik eine präzise Bedeutung: Aus den Gelenkpositionen, -geschwindigkeiten und -momenten eines Starrkörperroboters die resultierenden Gelenkbeschleunigungen berechnen. Diese folgen aus den Bewegungsgleichungen mit der Massenmatrix und den Coriolis-, Zentrifugal- und Schwerkrafttermen und werden effizient mit Algorithmen wie dem Articulated Body Algorithm berechnet. Physiksimulatoren wie MuJoCo, PyBullet und Drake sind um diese Berechnung herum aufgebaut und integrieren sie in der Zeit vorwärts.

Im Roboterlernen wird ein Vorwärtsdynamikmodell oft aus Daten gelernt, statt hergeleitet zu werden. Ein neuronales Netz wird auf aufgezeichneten Übergängen trainiert, um aus aktuellem Zustand und Aktion den nächsten Zustand oder eine latente Repräsentation davon vorherzusagen. Gelernte Modelle können Effekte erfassen, die sich von Hand schwer modellieren lassen, etwa Radschlupf auf unebenem Gelände, die Verformung von Kabeln oder Stoff oder das Verhalten eines ganzen wahrnehmungsgesteuerten Systems. Ist der Zustand ein Bild oder ein gelerntes Embedding, nennt man dieselbe Idee meist ein Weltmodell.

Planer nutzen Vorwärtsmodelle, indem sie Aktionsfolgen samplen oder optimieren, sie durch das Modell ausrollen und die vorhergesagten Ergebnisse bewerten. Die Hauptschwäche ist die Fehlerakkumulation: Kleine Ein-Schritt-Fehler wachsen über lange Vorhersagehorizonte, und ein Planer kann ungenaue Teile des Modells ausnutzen.

Warum es wichtig ist

Jeder Roboter, der plant, indem er die Folgen seiner Aktionen vorhersagt, braucht ein Vorwärtsdynamikmodell, ob aus der Physik hergeleitet oder aus Daten gelernt. Die Genauigkeit dieses Modells bestimmt, wie weit voraus der Roboter zuverlässig planen kann und wie sicher er in Situationen handeln kann, die er noch nicht gesehen hat.

Wichtige Anwendungen

Physiksimulation von Starrkörperrobotern
Modellprädiktive Regelung und samplingbasierte Planung
Modellbasiertes Reinforcement Learning
Vorhersage der Roboterbewegung über unebenes oder verformbares Gelände
Video- und latente Vorhersagemodelle für die Planung aus Bildern

In der Praxis

Für einen starren Roboterarm nehmen Teams die Vorwärtsdynamik meist aus einer Physik-Engine oder einer Bibliothek wie Pinocchio oder Drake, mit einer URDF mit identifizierten Massen und Trägheiten. Bei schwer zu modellierenden Systemen, etwa einem Bodenroboter auf gemischtem Gelände, zeichnen sie während teleoperierter oder autonomer Fahrten Zustands-, Aktions- und Sensordaten auf, trainieren ein neuronales Netz zur Vorhersage künftiger Zustände und validieren es auf zurückgehaltenen Fahrten, indem sie vorhergesagte und tatsächliche Trajektorien über den Planungshorizont vergleichen. Das gelernte Modell wird dann in einen samplingbasierten Regler wie MPPI eingesetzt, der viele Kandidaten-Aktionsfolgen durch das Modell ausrollt und die beste auswählt. Ingenieure verfolgen den Vorhersagefehler in Abhängigkeit von der Horizontlänge, da dieser bestimmt, wie weit voraus der Regler sinnvoll planen kann.

Häufige Missverständnisse

Vorwärts- und Inversdynamik sind austauschbar — die Vorwärtsdynamik bildet Aktionen auf die resultierende Bewegung ab, die Inversdynamik eine gewünschte Bewegung auf die Aktionen, die sie erzeugen
Ein Modell, das einen Schritt gut vorhersagt, plant auch gut — Fehler akkumulieren sich über mehrstufige Rollouts, und Planer können Ungenauigkeiten des Modells ausnutzen
Vorwärtsdynamikmodelle sind immer gelernt — in der klassischen Robotik werden sie analytisch aus den Bewegungsgleichungen des Roboters hergeleitet

Wer das wissen sollte

Ingenieure für modellbasierte Regelung und Planung
Forschende im Roboterlernen, die an modellbasiertem Reinforcement Learning (RL) und Weltmodellen arbeiten
Simulationsentwickler
Feldrobotik-Teams, die die Interaktion mit dem Gelände modellieren

Open Source Robotics