Inverse Dynamics Model

Auch genannt: IDM, inverse model, inverse dynamics
Kategorie: Learning & autonomy › RL & simulation
Schlagwörter: dynamics, control, robot-learning, video-learning, model-based-control

Ein Modell, das die Aktion berechnet, etwa Gelenkmomente oder einen Stellbefehl, die nötig ist, um ein System von seinem aktuellen Zustand in einen gewünschten nächsten Zustand oder eine gewünschte Beschleunigung zu bringen.

Definition

Inversdynamikmodelle (Inverse Dynamics Models) beantworten die Umkehrung der Frage, die ein Vorwärtsmodell beantwortet: Wenn bekannt ist, wo das System ist und wo es als Nächstes sein soll, welche Aktion bringt es dorthin? Formal bildet ein Inversdynamikmodell einen aktuellen Zustand und einen gewünschten nächsten Zustand oder eine gewünschte Beschleunigung auf die Aktion ab, die diese Änderung hervorbringt.

In der klassischen Robotik bedeutet Inversdynamik, die Gelenkmomente zu berechnen, die nötig sind, um gegebene Gelenkpositionen, -geschwindigkeiten und -beschleunigungen zu erreichen. Für Starrkörperroboter wird dies effizient mit dem rekursiven Newton-Euler-Algorithmus berechnet, dessen Aufwand linear mit der Zahl der Gelenke wächst. Die Inversdynamik ist die Grundlage der Computed-Torque-Regelung und der Vorsteuerung: Der Regler berechnet die Momente, die der Arm braucht, um einer Trajektorie zu folgen, und nutzt die Rückführung nur, um den verbleibenden Fehler zu korrigieren. Ganzkörperregler für Laufroboter lösen eine beschränkte Form der Inversdynamik, die auch Kontaktkräfte berücksichtigt.

Im Roboterlernen ist ein Inversdynamikmodell meist ein neuronales Netz, das auf aufgezeichneten Übergängen trainiert wird, um die zwischen zwei aufeinanderfolgenden Beobachtungen ausgeführte Aktion vorherzusagen. Das hat mehrere Verwendungen. Es kann eine vorhergesagte künftige Beobachtung, etwa ein generiertes Videobild, in eine Aktion umsetzen, die der Roboter ausführen kann. Es kann Videos ohne aufgezeichnete Aktionen beschriften, indem es ableitet, welche Aktionen ausgeführt worden sein müssen. Außerdem dient es als zusätzliches Trainingsziel, das gelernte Repräsentationen dazu anregt zu erfassen, was der Agent steuern kann.

Ein inverses Modell kann schlecht gestellt sein, wenn verschiedene Aktionen dasselbe Ergebnis erzeugen oder der gewünschte nächste Zustand nicht in einem Schritt erreichbar ist, daher fügen praktische Systeme oft Kontext hinzu, etwa vergangene Zustände oder einen längeren Horizont.

Warum es wichtig ist

Über die Inversdynamik setzt ein Roboter eine geplante Bewegung in die Kräfte oder Befehle um, die sie erzeugen, von der Computed-Torque-Regelung von Industriearmen bis zur Ganzkörperregelung von Humanoiden. Im Roboterlernen verbinden Inversdynamikmodelle Vorhersage und Aktion, sodass Systeme, die auf Video oder der Vorhersage künftiger Zustände trainiert wurden, tatsächlich einen Roboter steuern können.

Wichtige Anwendungen

Computed-Torque-Regelung und Vorsteuerung von Roboterarmen
Ganzkörperregelung für Humanoide und Laufroboter
Umsetzung vorhergesagter künftiger Beobachtungen in ausführbare Aktionen
Ableitung von Aktionslabels für Videodatensätze, denen sie fehlen
Selbstüberwachtes Repräsentationslernen für die Regelung

In der Praxis

Für einen Roboterarm mit genauer URDF berechnen Ingenieure die Inversdynamik mit einer Bibliothek wie Pinocchio oder in der Steuerung des Herstellers und schalten die resultierenden Momente vor, wobei eine Rückführschleife mit geringerer Verstärkung Reibung und nicht modellierte Lasten übernimmt. Ist das Modell unsicher, identifizieren sie zuerst die Trägheitsparameter oder lernen darauf eine Residualkorrektur. In Lernpipelines könnte ein Team ein kleines Inversdynamiknetz auf Robotertrajektorien mit aufgezeichneten Aktionen trainieren und es dann nutzen, um Aktionen für eine größere Menge von Videos ohne Aktionen abzuleiten oder das von einem Modell vorhergesagte nächste Bild in einen Befehl umzuwandeln. Geprüft wird es, indem abgeleitete und aufgezeichnete Aktionen auf zurückgehaltenen Daten verglichen werden.

Häufige Missverständnisse

Inversdynamik ist dasselbe wie inverse Kinematik — die inverse Kinematik findet Gelenkpositionen für eine gewünschte Pose, die Inversdynamik die Kräfte oder Momente, die nötig sind, um eine gewünschte Bewegung zu erzeugen
Ein Inversdynamikmodell ist eine vollständige Policy — es sagt, wie ein gegebener nächster Zustand erreicht wird, aber etwas anderes muss entscheiden, welcher Zustand angestrebt wird
Die Inversdynamik hat immer eine eindeutige Lösung — redundante Roboter, Kontakte und mehrstufige Ziele können mehrere Aktionen gleichermaßen gültig machen

Wer das wissen sollte

Regelungsingenieure, die an Armen und Laufrobotern arbeiten
Forschende im Roboterlernen, die Video und Weltmodelle nutzen
Entwickler von Ganzkörperregelung für Humanoide
Robotikstudierende, die sich mit Dynamik befassen

Videos

Modern Robotics, Chapter 8.3: Newton-Euler Inverse Dynamics: Northwestern Robotics

Open Source Robotics