NeuralActuator: Neural Actuation Modeling for Robot Dynamics and External Force Perception

Autori: Zhiyang Dou, John U. Onyemelukwe, Hangxing Zhang, Heng Zhang, Minghao Guo, Yunsheng Tian, Michal Piotr Lipiec, Joshua Jacob, Chao Liu, Peter Yichen Chen, Yuri Ivanov, Wojciech Matusik · RSS 2026

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un modello di attuatore Transformer per bracci a servo a basso costo, addestrato tramite MuJoCo differenziabile a partire da dati di posa, stima la forza all'end effector senza sensore di forza e migliora l'imitazione basata sulla forza.

Perché è importante

Fornisce ai bracci a basso costo un segnale di forza utilizzabile senza sensore di forza/coppia in fase di inferenza, con un'inferenza su GPU inferiore al millisecondo, oltre una frequenza di controllo di 60 Hz. Quel segnale ha aumentato il successo del behavior cloning nei task con carico, e il modello può essere ricalibrato su una nuova unità con 12 traiettorie in circa sei minuti.

Problema

I bracci a servo a basso costo usano attuatori in CC a spazzole con riduttore, nei quali attrito, isteresi, gioco e deriva termica invalidano l'ipotesi di relazione lineare corrente-coppia. Ciò compromette la simulazione, l'inseguimento dello sforzo e qualsiasi stima della forza basata sulla corrente del motore. I precedenti modelli di attuatore appresi richiedono etichette di coppia ottenute da sensori di coppia ai giunti o da correnti calibrate, che queste piattaforme non forniscono in modo affidabile.

Soluzione proposta

NeuralActuator è un Transformer a quattro strati che legge nove frame di comandi, stati dei giunti e telemetria degli attuatori (corrente o carico, tensione, temperatura) e restituisce un surrogato di coppia, una forza 3D grezza all'end effector, un gate di probabilità di contatto e un punteggio di condizione per motore. La testa di coppia è addestrata propagandola attraverso un simulatore differenziabile MuJoCo/MJX e facendo corrispondere le pose misurate, quindi non servono etichette di coppia; le teste di forza, di gate e di condizione sono addestrate direttamente sulle etichette del nuovo Neural Actuation Dataset, registrato con una coppia leader-follower di bracci OpenManipulator-X e un sensore di forza/coppia a sei assi.

Idee chiave

Sui servo a basso costo con riduttore la mappa lineare corrente-coppia può fallire del tutto: stimare Kt per giunto sull'OpenManipulator-X ha dato pendenze negative su due giunti prima della saturazione
Le traiettorie di posa propagate attraverso un simulatore differenziabile bastano a supervisionare un surrogato di coppia quando non esistono etichette di coppia
Separare la regressione della forza da un gate di probabilità di contatto mantiene la forza predetta vicina a zero in assenza di contatto, dove gli osservatori classici segnalano falsi contatti
I modelli parametrici di attrito fissi (Stribeck, gioco) aggiungono poco al modello lineare su questi servo; una rete condizionata sulla storia cattura le non linearità dominanti
La forza predetta, usata come input aggiuntivo, migliora le policy di apprendimento per imitazione nella manipolazione di carichi

Risultati principali

Benchmark sul carico a 100 passi: MAE della forza di 0,12 N contro 0,66 N della migliore baseline classica (osservatore del momento generalizzato), 1,23 N di ID-Friction e 1,41 N di ID-Linear; i metodi classici hanno mostrato il 33-59 % di contatti falsi positivi nel regime senza contatto
Benchmark con sensore a sei assi e forze fino a 9 N: MAE della forza di 0,36-0,39 N a 100 passi e di 0,38-0,57 N a 500 passi; 0,00-0,02 N predetti sui riferimenti senza contatto
Behavior cloning su 40 prove: il successo nel pick-and-place è salito dall'80 % al 92,5 % e nel sollevamento con mantenimento dall'85 % al 95 % con l'input di forza di NeuralActuator
Rilevamento della condizione del motore (giunto 3 limitato con un elastico): 91,0 % di accuratezza, 96,2 % di recall e 0,95 di AUC-ROC, contro il 67,1 % di accuratezza e 0,72 di AUC-ROC della migliore baseline progettata a mano (Random Forest)
Tempo di esecuzione: 1,44M parametri, inferenza media su GPU di 0,25 ms e throughput di 4.019 Hz con batch size 1
Tra piattaforme: MAE della forza offline sul Franka Panda di 0,26-0,42 N con carichi di 200-600 g; MAE della forza sul SO-101 di 0,47-0,73 N a 500 passi; l'adattamento online su 12 traiettorie (356 s) ha ridotto l'errore di inseguimento di circa il 44 %

Limiti

I rollout a lungo orizzonte condizionati sulla telemetria registrata accumulano errore e finiscono per degradare la precisione dell'inseguimento (gli autori attenuano il problema con un adattamento online su poche traiettorie)
Il surrogato di coppia è equivalente a quello del simulatore, non una coppia misurata dell'attuatore: quando contatti o carichi mancano dal modello diretto, può assorbirne gli effetti e altre discrepanze del modello
L'inferenza online richiede la telemetria degli attuatori in tempo reale e il modello non può simulare comandi candidati non eseguiti, quindi non può essere usato per la pianificazione controfattuale come l'MPC senza un modello aggiuntivo di risposta dello sforzo
La testa di forza stima un'unica forza risultante 3D all'end effector: nessuna localizzazione di contatti multipunto, nessun wrench completo, e richiede etichette di forza esplicite per l'addestramento
I carichi pari o inferiori a circa 50 g (circa 0,5 N) sono vicini alla soglia di rumore della piattaforma a basso costo; i risultati sul Franka sono un benchmark offline che usa uno stato futuro come approssimazione del segnale di comando

Impatto sul settore

Vincitore del RSS 2026 Outstanding Systems Paper in Memory of Seth Teller Award e finalista al RSS 2026 Outstanding Paper Award; 5 citazioni finora. Gli autori rilasciano il Neural Actuation Dataset e indicano una pagina del progetto e un repository di codice.

Abstract

I simulatori differenziabili hanno fatto progredire l'apprendimento delle policy e il controllo basato su modello, ma la dinamica degli attuatori resta un'importante fonte di errore sim-to-real. Il problema è particolarmente acuto sulle piattaforme a basso costo, dove la relazione lineare corrente-coppia τ = K_t·I diventa inaffidabile durante l'inseguimento dei target comandati a causa di attrito, isteresi, gioco ed effetti termici. Presentiamo NeuralActuator, un modello neurale di attuatore che predice congiuntamente (i) un surrogato dello sforzo generalizzato equivalente a quello del simulatore per la propagazione delle traiettorie su piattaforme a servo a basso costo, (ii) la forza esterna con un gate di probabilità di contatto per la percezione della forza senza sensori, e (iii) un punteggio di condizione del motore per il giunto supervisionato. Introduciamo inoltre il Neural Actuation Dataset (NAD), raccolto con un sistema di teleoperazione a bracci gemelli che registra gli stati del robot e la telemetria degli attuatori insieme a etichette di forza esterna. La testa del surrogato di coppia è addestrata tramite simulazione differenziabile a partire da traiettorie di posa senza etichette dirette di sforzo generalizzato, mentre le teste di forza, di gate e di condizione del motore ricevono una supervisione diretta. Un Transformer cattura le dipendenze temporali supportando l'inferenza in tempo reale. Valutiamo NeuralActuator su un OpenManipulator-X a 5-DoF, un SO-101 a 6-DoF e un Franka Emika Panda a 7-DoF, che coprono tre famiglie di attuatori e piattaforme dal costo compreso tra circa 500 USD e oltre 30.000 USD. Le piattaforme a basso costo consentono la valutazione della dinamica e della forza, mentre l'esperimento offline sul Franka fornisce un ulteriore benchmark di stima della forza del carico. Gli esperimenti dimostrano inoltre la sua applicazione alla stima della condizione del motore sull'OpenManipulator-X e un miglioramento delle prestazioni del behavior cloning quando NeuralActuator è usato come modulo preaddestrato.

Link

arXiv 2607.11734: https://arxiv.org/abs/2607.11734
DOI 10.15607/rss.2026.xxii.159: https://doi.org/10.15607/rss.2026.xxii.159
PDF: https://arxiv.org/pdf/2607.11734v1
Codice: https://github.com/Frank-ZY-Dou/Dynamics-Modeling/tree/main/NeuralActuator
Pagina del progetto: https://frank-zy-dou.github.io/projects/NeuralActuator/index.html