NeuralActuator: Neural Actuation Modeling for Robot Dynamics and External Force Perception

Autoren: Zhiyang Dou, John U. Onyemelukwe, Hangxing Zhang, Heng Zhang, Minghao Guo, Yunsheng Tian, Michal Piotr Lipiec, Joshua Jacob, Chao Liu, Peter Yichen Chen, Yuri Ivanov, Wojciech Matusik · RSS 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein Transformer-Aktuatormodell für kostengünstige Servo-Arme, durch differenzierbares MuJoCo aus Posendaten trainiert, schätzt die Kraft am Endeffektor ohne Kraftsensor und verbessert kraftbewusstes Imitationslernen.

Warum es wichtig ist

Es verschafft kostengünstigen Armen zur Inferenzzeit ein nutzbares Kraftsignal ohne Kraft-/Momentensensor, mit GPU-Inferenz unter einer Millisekunde, schneller als eine Regelrate von 60 Hz. Dieses Signal steigerte den Behavior-Cloning-Erfolg bei Nutzlastaufgaben, und das Modell lässt sich an einem neuen Gerät mit 12 Trajektorien in etwa sechs Minuten neu kalibrieren.

Problem

Kostengünstige Servo-Arme verwenden Bürsten-DC-Aktuatoren mit Getriebe, bei denen Reibung, Hysterese, Spiel und thermische Drift die Annahme eines linearen Strom-Drehmoment-Zusammenhangs brechen. Das verfälscht Simulation, Kraftverfolgung und jede auf dem Motorstrom aufbauende Kraftschätzung. Bisherige gelernte Aktuatormodelle benötigen Drehmoment-Labels von Gelenkmomentsensoren oder kalibriertem Strom, die diese Plattformen nicht zuverlässig liefern.

Lösungsansatz

NeuralActuator ist ein vierschichtiger Transformer, der neun Frames aus Befehlen, Gelenkzuständen und Aktuatortelemetrie (Strom oder Last, Spannung, Temperatur) liest und ein Drehmoment-Surrogat, eine rohe 3D-Endeffektorkraft, ein Kontaktwahrscheinlichkeits-Gate und einen Zustandswert pro Motor ausgibt. Der Drehmomentkopf wird trainiert, indem er durch einen differenzierbaren MuJoCo/MJX-Simulator gerollt und an gemessene Posen angeglichen wird, sodass keine Drehmoment-Labels nötig sind; die Kraft-, Gate- und Zustandsköpfe werden direkt auf Labels des neuen Neural Actuation Dataset trainiert, aufgezeichnet mit einem Leader-Follower-Paar von OpenManipulator-X-Armen und einem sechsachsigen Kraft-/Momentensensor.

Wichtigste Erkenntnisse

Bei kostengünstigen Getriebeservos kann die lineare Strom-Drehmoment-Abbildung völlig versagen: Die gelenkweise Anpassung von Kt am OpenManipulator-X ergab vor dem Begrenzen an zwei Gelenken negative Steigungen
Durch einen differenzierbaren Simulator gerollte Posentrajektorien genügen, um ein Drehmoment-Surrogat zu überwachen, wenn keine Drehmoment-Labels existieren
Die Trennung der Kraftregression von einem Kontaktwahrscheinlichkeits-Gate hält die vorhergesagte Kraft ohne Kontakt nahe null, wo klassische Beobachter falsche Kontakte melden
Feste parametrische Reibungsmodelle (Stribeck, Spiel) bringen bei diesen Servos kaum etwas gegenüber dem linearen Modell; ein historienkonditioniertes Netz erfasst die dominierenden Nichtlinearitäten
Die vorhergesagte Kraft verbessert als zusätzliche Eingabe Imitationslern-Policies bei der Nutzlastmanipulation

Hauptergebnisse

Nutzlast-Benchmark bei 100 Schritten: Kraft-MAE 0,12 N gegenüber 0,66 N für die beste klassische Baseline (Beobachter des generalisierten Impulses), 1,23 N für ID-Friction und 1,41 N für ID-Linear; klassische Methoden zeigten im kontaktfreien Bereich 33-59 % falsch-positive Kontakte
Benchmark mit sechsachsigem Sensor und Kräften bis 9 N: Kraft-MAE 0,36-0,39 N bei 100 Schritten und 0,38-0,57 N bei 500 Schritten; 0,00-0,02 N vorhergesagt bei kontaktfreien Referenzen
Behavior Cloning über 40 Versuche: Der Erfolg bei Pick-and-Place stieg mit NeuralActuator-Krafteingabe von 80 % auf 92,5 % und bei Hochfahren-und-Halten von 85 % auf 95 %
Erkennung des Motorzustands (per Gummiband eingeschränktes Joint 3): 91,0 % Genauigkeit, 96,2 % Recall, 0,95 AUC-ROC gegenüber 67,1 % Genauigkeit und 0,72 AUC-ROC für die beste handgefertigte Baseline (Random Forest)
Laufzeit: 1,44M Parameter, 0,25 ms mittlere GPU-Inferenz, 4.019 Hz Durchsatz bei Batchgröße 1
Plattformübergreifend: Franka Panda offline Kraft-MAE 0,26-0,42 N über Nutzlasten von 200-600 g; SO-101 Kraft-MAE 0,47-0,73 N bei 500 Schritten; Online-Anpassung auf 12 Trajektorien (356 s) senkte den Verfolgungsfehler um etwa 44 %

Einschränkungen

Rollouts mit langem Horizont, die auf aufgezeichnete Telemetrie konditioniert sind, akkumulieren Fehler und verschlechtern schließlich die Verfolgungsgenauigkeit (die Autoren mildern dies mit Online-Anpassung auf wenigen Trajektorien)
Das Drehmoment-Surrogat ist simulatoräquivalent, kein gemessenes Aktuatordrehmoment: Fehlen Kontakte oder Nutzlasten im Vorwärtsmodell, kann es deren Effekte und andere Modellabweichungen aufnehmen
Die Online-Inferenz benötigt Live-Aktuatortelemetrie, und das Modell kann keine nicht ausgeführten Kandidatenbefehle durchrollen, sodass es ohne zusätzliches Effort-Response-Modell nicht für kontrafaktische Planung wie MPC eingesetzt werden kann
Der Kraftkopf schätzt eine einzige resultierende 3D-Kraft am Endeffektor: keine Lokalisierung mehrerer Kontaktpunkte, kein vollständiger Kraftwinder, und für das Training sind explizite Kraft-Labels nötig
Nutzlasten bis etwa 50 g (etwa 0,5 N) liegen nahe am Rauschpegel der kostengünstigen Plattform; die Franka-Ergebnisse sind ein Offline-Benchmark, der einen Zukunftszustand als Ersatz für das Befehlssignal verwendet

Wirkung auf das Fachgebiet

Ausgezeichnet mit dem RSS 2026 Outstanding Systems Paper in Memory of Seth Teller Award und Finalist für den RSS 2026 Outstanding Paper Award; bisher 5 Zitierungen. Die Autoren veröffentlichen den Neural Actuation Dataset und nennen eine Projektseite und ein Code-Repository.

Zusammenfassung

Differenzierbare Simulatoren haben Policy-Lernen und modellbasierte Regelung vorangebracht, doch die Aktuatordynamik bleibt eine wichtige Quelle von Sim-to-Real-Fehlern. Dies ist besonders ausgeprägt auf kostengünstigen Plattformen, wo die lineare Strom-Drehmoment-Beziehung τ = K_t·I während der Verfolgung kommandierter Sollwerte wegen Reibung, Hysterese, Spiel und thermischer Effekte unzuverlässig wird. Wir stellen NeuralActuator vor, ein neuronales Aktuatormodell, das gemeinsam (i) ein simulatoräquivalentes Surrogat für die generalisierte Kraft (generalized effort) zur Trajektorienpropagation auf kostengünstigen Servo-Plattformen, (ii) die externe Kraft mit einem Kontaktwahrscheinlichkeits-Gate für sensorlose Kraftwahrnehmung und (iii) einen Motorzustandswert für das überwachte Gelenk vorhersagt. Wir stellen außerdem den Neural Actuation Dataset (NAD) vor, erhoben mit einem Zwillingsarm-Teleoperationssystem, das Roboterzustände und Aktuatortelemetrie zusammen mit Labels der externen Kraft aufzeichnet. Der Drehmoment-Surrogat-Kopf wird durch differenzierbare Simulation aus Posentrajektorien ohne direkte Labels der generalisierten Kraft trainiert, während die Kraft-, Gate- und Motorzustandsköpfe direkt überwacht werden. Ein Transformer erfasst zeitliche Abhängigkeiten und unterstützt dabei Echtzeit-Inferenz. Wir evaluieren NeuralActuator an einem 5-DoF OpenManipulator-X, einem 6-DoF SO-101 und einem 7-DoF Franka Emika Panda, die drei Aktuatorfamilien und Plattformen mit Kosten von etwa USD 500 bis über USD 30.000 abdecken. Die kostengünstigen Plattformen ermöglichen die Evaluierung von Dynamik und Kraft, während das Offline-Experiment mit dem Franka einen zusätzlichen Benchmark zur Schätzung der Nutzlastkraft liefert. Experimente zeigen ferner die Anwendung zur Schätzung des Motorzustands am OpenManipulator-X sowie eine verbesserte Behavior-Cloning-Leistung, wenn NeuralActuator als vortrainiertes Modul verwendet wird.

Open Source Robotics