NeuralActuator: Neural Actuation Modeling for Robot Dynamics and External Force Perception

Auteurs: Zhiyang Dou, John U. Onyemelukwe, Hangxing Zhang, Heng Zhang, Minghao Guo, Yunsheng Tian, Michal Piotr Lipiec, Joshua Jacob, Chao Liu, Peter Yichen Chen, Yuri Ivanov, Wojciech Matusik · RSS 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un modèle d'actionneur Transformer pour bras à servomoteurs bon marché, entraîné à travers MuJoCo différentiable à partir de données de pose, estime la force à l'effecteur terminal sans capteur d'effort et améliore l'imitation tenant compte de la force.

Pourquoi c'est important

Il donne aux bras bon marché un signal de force exploitable sans capteur de force/couple à l'inférence, avec une inférence GPU inférieure à la milliseconde, plus rapide qu'une fréquence de commande de 60 Hz. Ce signal a augmenté la réussite du clonage comportemental sur des tâches avec charge utile, et le modèle peut être réétalonné sur une nouvelle unité avec 12 trajectoires en environ six minutes.

Problème

Les bras à servomoteurs bon marché utilisent des actionneurs DC à balais et à réducteur dont le frottement, l'hystérésis, le jeu mécanique et la dérive thermique invalident l'hypothèse d'une relation linéaire courant-couple. Cela corrompt la simulation, le suivi d'effort et toute estimation de force fondée sur le courant moteur. Les modèles d'actionneurs appris antérieurs nécessitent des étiquettes de couple issues de capteurs de couple articulaire ou d'un courant étalonné, que ces plateformes ne fournissent pas de manière fiable.

Solution proposée

NeuralActuator est un Transformer à quatre couches qui lit neuf trames de consignes, d'états articulaires et de télémétrie des actionneurs (courant ou charge, tension, température) et produit un substitut de couple, une force 3D brute à l'effecteur terminal, une porte de probabilité de contact et un score d'état par moteur. La tête de couple est entraînée en la déroulant à travers un simulateur différentiable MuJoCo/MJX et en ajustant les poses mesurées, si bien qu'aucune étiquette de couple n'est nécessaire ; les têtes de force, de porte et d'état sont entraînées directement sur les étiquettes du nouveau Neural Actuation Dataset, enregistré avec une paire leader-suiveur de bras OpenManipulator-X et un capteur de force/couple à six axes.

Idées clés

• Sur les servomoteurs bon marché à réducteur, la relation linéaire courant-couple peut échouer complètement : l'ajustement de Kt par articulation sur l'OpenManipulator-X a donné des pentes négatives sur deux articulations avant écrêtage
• Des trajectoires de pose déroulées à travers un simulateur différentiable suffisent à superviser un substitut de couple lorsqu'aucune étiquette de couple n'existe
• Séparer la régression de force d'une porte de probabilité de contact maintient la force prédite proche de zéro en l'absence de contact, là où les observateurs classiques signalent de faux contacts
• Les modèles de frottement paramétriques fixes (Stribeck, jeu mécanique) n'apportent guère par rapport au modèle linéaire sur ces servomoteurs ; un réseau conditionné par l'historique capture les non-linéarités dominantes
• La force prédite, utilisée comme entrée supplémentaire, améliore les politiques d'apprentissage par imitation en manipulation avec charge utile

Principaux résultats

• Benchmark de charge utile à 100 pas : MAE de force de 0,12 N contre 0,66 N pour la meilleure référence classique (observateur de quantité de mouvement généralisée), 1,23 N pour ID-Friction et 1,41 N pour ID-Linear ; les méthodes classiques ont présenté 33-59 % de faux contacts positifs en régime sans contact
• Benchmark avec capteur à six axes et forces jusqu'à 9 N : MAE de force de 0,36-0,39 N à 100 pas et de 0,38-0,57 N à 500 pas ; 0,00-0,02 N prédits sur les références sans contact
• Clonage comportemental sur 40 essais : la réussite en saisie-dépose est passée de 80 % à 92,5 % et en monter-et-maintenir de 85 % à 95 % avec l'entrée de force de NeuralActuator
• Détection de l'état moteur (Joint 3 restreint par un élastique) : 91,0 % d'exactitude, 96,2 % de rappel, AUC-ROC de 0,95 contre 67,1 % d'exactitude et AUC-ROC de 0,72 pour la meilleure référence à caractéristiques manuelles (Random Forest)
• Exécution : 1,44M paramètres, inférence GPU moyenne de 0,25 ms, débit de 4 019 Hz pour une taille de batch de 1
• Multiplateforme : MAE de force hors ligne sur Franka Panda de 0,26-0,42 N pour des charges de 200-600 g ; MAE de force sur SO-101 de 0,47-0,73 N à 500 pas ; une adaptation en ligne sur 12 trajectoires (356 s) a réduit l'erreur de suivi d'environ 44 %

Limites

• Les rollouts à long horizon conditionnés par la télémétrie enregistrée accumulent l'erreur et finissent par dégrader la précision de suivi (les auteurs l'atténuent par une adaptation en ligne sur quelques trajectoires)
• Le substitut de couple est équivalent au simulateur, et non un couple d'actionneur mesuré : lorsque des contacts ou des charges utiles manquent dans le modèle direct, il peut absorber leurs effets et d'autres écarts de modèle
• L'inférence en ligne nécessite la télémétrie des actionneurs en direct, et le modèle ne peut pas dérouler de consignes candidates non exécutées ; il ne peut donc pas servir à une planification contrefactuelle comme la MPC sans un modèle supplémentaire de réponse en effort
• La tête de force estime une seule force résultante 3D à l'effecteur terminal : pas de localisation de contacts multipoints, pas de torseur complet, et elle nécessite des étiquettes de force explicites pour l'entraînement
• Les charges utiles d'environ 50 g ou moins (environ 0,5 N) se situent près du plancher de bruit de la plateforme bon marché ; les résultats sur le Franka constituent un benchmark hors ligne qui utilise un état futur comme substitut du signal de consigne

Impact sur le domaine

Lauréat du RSS 2026 Outstanding Systems Paper in Memory of Seth Teller Award et finaliste du RSS 2026 Outstanding Paper Award ; 5 citations à ce jour. Les auteurs publient le Neural Actuation Dataset et indiquent une page de projet et un dépôt de code.

Résumé

Les simulateurs différentiables ont fait progresser l'apprentissage de politiques et la commande fondée sur un modèle, mais la dynamique des actionneurs reste une source importante d'erreur sim-to-real. Le problème est particulièrement aigu sur les plateformes bon marché, où la relation linéaire courant-couple τ = K_t·I devient peu fiable lors du suivi de consignes en raison du frottement, de l'hystérésis, du jeu mécanique et des effets thermiques. Nous présentons NeuralActuator, un modèle neuronal d'actionneur qui prédit conjointement (i) un substitut d'effort généralisé équivalent au simulateur pour la propagation de trajectoire sur des plateformes à servomoteurs bon marché, (ii) la force externe avec une porte de probabilité de contact pour une perception d'effort sans capteur, et (iii) un score d'état moteur pour l'articulation surveillée. Nous introduisons également le Neural Actuation Dataset (NAD), collecté avec un système de téléopération à bras jumeaux qui enregistre les états du robot et la télémétrie des actionneurs avec des étiquettes de force externe. La tête de substitut de couple est entraînée par simulation différentiable à partir de trajectoires de pose sans étiquettes directes d'effort généralisé, tandis que les têtes de force, de porte et d'état moteur reçoivent une supervision directe. Un Transformer capture les dépendances temporelles tout en permettant une inférence en temps réel. Nous évaluons NeuralActuator sur un OpenManipulator-X à 5-DoF, un SO-101 à 6-DoF et un Franka Emika Panda à 7-DoF, couvrant trois familles d'actionneurs et des plateformes coûtant d'environ USD 500 à plus de USD 30 000. Les plateformes bon marché permettent l'évaluation de la dynamique et de la force, tandis que l'expérience hors ligne sur le Franka fournit un benchmark supplémentaire d'estimation de la force due à la charge utile. Les expériences démontrent en outre son application à l'estimation de l'état des moteurs sur l'OpenManipulator-X et une amélioration des performances de clonage comportemental lorsque NeuralActuator est utilisé comme module préentraîné.

Liens

• arXiv 2607.11734: https://arxiv.org/abs/2607.11734
• DOI 10.15607/rss.2026.xxii.159: https://doi.org/10.15607/rss.2026.xxii.159
• PDF: https://arxiv.org/pdf/2607.11734v1
• Code: https://github.com/Frank-ZY-Dou/Dynamics-Modeling/tree/main/NeuralActuator
• Page du projet: https://frank-zy-dou.github.io/projects/NeuralActuator/index.html