FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning

Autori: Steven Oh, Jason Jingzhou Liu, Tony Tao, Philip Han, Kenneth Shaw, Satoshi Funabashi, Ruslan Salakhutdinov, Deepak Pathak · CoRL 2026 2026

Perché è importante

Il ritorno di forza e le policy basate sulla forza sono stati finora riservati soprattutto a bracci con sensori di coppia ai giunti o di forza al polso, come il Franka da circa 30.000 dollari, mentre i bracci economici che molti laboratori e appassionati acquistano riportano solo la corrente dei motori. FACTR 2 mostra un modo economico per colmare questo divario: registrare circa dieci minuti di movimento libero, addestrare una piccola rete ricorrente per circa un minuto, e il braccio riporta la coppia esterna abbastanza bene da guidare la teleoperazione con ritorno di forza e migliorare le policy ricche di contatti. Sul Franka, dove un sensore fornisce il riferimento reale, la stima appresa ha seguito il contatto molto più da vicino delle baseline basate su modello. Gli autori applicano il metodo all'AgileX Piper (circa 2.500 dollari), a bracci YAM e a un Nero, e il codice pubblicato include una pipeline ROS 2 per registrazione, addestramento, inferenza e una demo di teleoperazione del Piper con ritorno di forza, sotto Apache-2.0. CoRL 2026 ha scelto l'articolo come una delle sue 21 presentazioni orali. L'idea di addestramento di FIRST, dare più peso al secondo che precede il contatto, è semplice da aggiungere a qualsiasi configurazione di behavior cloning.

Problema

Inserire, avvitare e maneggiare oggetti morbidi dipende dal sentire il contatto, cosa difficile da ricavare dalle sole telecamere. La misura dedicata di forza e coppia di solito c'è solo su bracci costosi come Franka, Flexiv o KUKA, e un sensore di forza al polso può costare più di un braccio economico. Stimare la coppia esterna dalla corrente dei motori è possibile in linea di principio, sottraendo la coppia che serve al braccio per muoversi liberamente, ma richiede un modello dinamico accurato. Sui bracci economici, attrito, attrito statico, gioco, isteresi, ondulazione di coppia e zone morte rendono questi modelli poco affidabili, e molti di questi effetti dipendono dalla storia recente del movimento. Senza un segnale di forza pulito, chi teleopera non riceve alcun ritorno e le policy non capiscono quando hanno toccato qualcosa. L'apprendimento per imitazione ha un secondo problema: gli errori si concentrano nelle brevi fasi di allineamento prima del contatto e di contatto, che però sono una piccola parte di ogni dimostrazione e vengono campionate di rado in addestramento.

Soluzione proposta

NEXT sostituisce il modello dinamico analitico con uno appreso. Gli autori registrano circa dieci minuti di movimento senza contatto: ogni giunto percorre la sua escursione, poi seguono movimenti di tipo cartesiano a velocità lenta e veloce. Una LSTM a due strati legge una storia di 50 passi di posizione del giunto, velocità del giunto e differenza tra posizione comandata e posizione misurata, e prevede la coppia motrice che serve al braccio nello spazio libero. In esecuzione, la coppia motrice misurata, cioè la corrente del motore per la costante di coppia, meno questa previsione è la coppia esterna. L'addestramento richiede circa un minuto su una RTX 3090, e un passaggio in avanti 1,76 ms su un singolo thread di CPU. Per la teleoperazione, la stima sostituisce il sensore di coppia nel controller leader-follower di FACTR. FIRST applica poi una soglia con isteresi alla coppia stimata per etichettare ogni passo di una dimostrazione come contatto, pre-contatto (il secondo prima dell'inizio del contatto) o movimento libero, e campiona più spesso i passi di pre-contatto e di contatto nel comporre i batch di addestramento, cinque volte più spesso il pre-contatto nella maggior parte dei compiti. Le policy ricevono in ingresso immagini delle telecamere, posizioni dei giunti e la coppia stimata.

Idee chiave

La forza esterna si può apprendere senza alcun sensore di forza: una rete addestrata solo su movimento libero prevede la coppia che serve al braccio per muoversi, e ciò che resta della coppia motrice misurata è il contatto
La storia conta con attuatori economici: un modello ricorrente con una storia di 50 passi ha battuto le varianti MLP e GRU, e aggiungere in ingresso la differenza tra posizione comandata e misurata ha ridotto ancora l'errore
La stima appresa può battere sia il modello dinamico sia il segnale di fabbrica: sul Franka in movimento libero, la stima di NEXT è rimasta più vicina a zero della stima della coppia esterna fornita dal braccio stesso
Le policy falliscono vicino al contatto, non nello spazio libero: ricampionare i batch di addestramento a favore dei passi di pre-contatto e di contatto riduce la loss di validazione proprio in quelle fasi
Il secondo prima del contatto è il dato più prezioso: sovracampionare i passi di pre-contatto ha aiutato in media più che sovracampionare quelli di contatto, che da soli hanno dato il punteggio più basso

Risultati principali

Su un Franka in contatto, la stima della coppia esterna di NEXT si discosta da quella del sensore integrato del braccio di 0,547 Nm in media sui giunti, l'87,6% in meno di FILIC (4,395 Nm) e il 62,8% in meno di un osservatore di disturbo (1,471 Nm)
In movimento libero sul Franka, NEXT resta a 0,414 Nm dallo zero reale, contro 0,449 Nm del segnale del sensore di coppia esterna del Franka stesso e 2,429 e 2,460 Nm dell'osservatore di disturbo e di FILIC
Sull'AgileX Piper, che non ha sensori di coppia, l'errore di NEXT in movimento libero è di 0,018 Nm, contro 0,248 Nm dell'osservatore di disturbo e 0,435 Nm di FILIC
In uno studio con 20 utenti di teleoperazione su un compito di pulizia con un Franka, i partecipanti hanno giudicato il ritorno di forza basato su NEXT più facile da usare delle baseline, e la forza applicata è risultata paragonabile a quella di FACTR Teleop con sensori di coppia dedicati
Su cinque compiti a lungo orizzonte ricchi di contatti con un allestimento bimanuale di Piper (250 dimostrazioni e 20 prove di valutazione per compito), FIRST ha ottenuto l'avanzamento del compito più alto, oltre il 17% sopra le policy precedenti basate sulla forza
Sovracampionare i passi di pre-contatto ha dato in media 0,818 di avanzamento sui cinque compiti, contro 0,811 per pre-contatto più contatto e 0,670 per il solo contatto
Con una policy ACT, il condizionamento sulla coppia esterna stimata ha ottenuto 0,567 nell'inserimento NIST e 0,525 nell'avvitamento del tappo, contro 0,431 e 0,440 con la corrente grezza dei motori e 0,220 e 0,440 senza nessuna delle due

Limiti

L'articolo indica due limiti: la scala assoluta della coppia dipende dalla costante di coppia del motore, quindi una costante imprecisa richiede una calibrazione con un sensore di forza esterno, e NEXT è specifico per ogni robot, quindi ogni braccio può richiedere una propria registrazione e un proprio addestramento
Il rilascio copre solo NEXT e la demo di teleoperazione: il repository (Apache-2.0) contiene i nodi ROS 2 per registrazione, addestramento, inferenza e visualizzazione, più una demo di teleoperazione con Piper e GELLO con ritorno di forza, ma non il codice di addestramento di FIRST, né checkpoint delle policy, né dati di dimostrazione; l'attivazione sul contatto e il filtro a rampa della demo non sono stati usati negli esperimenti dell'articolo
La precisione è misurata rispetto a un riferimento reale solo sul Franka; per il Piper si riporta solo l'errore in movimento libero, perché il braccio non ha sensori di coppia, e le prestazioni in contatto si basano lì su uno studio con utenti; YAM e Nero compaiono solo in figure e video qualitativi
Tutti i risultati delle policy sono degli autori stessi, su un unico allestimento bimanuale di Piper con 20 prove per compito e un avanzamento del compito a punteggio parziale; il rapporto di sovracampionamento è stato scelto per ciascun compito in base all'avanzamento, e l'ablazione sull'intensità del sovracampionamento è stata eseguita solo su tre compiti con ACT e su uno con la policy di flow matching, per mancanza di calcolo

Impatto sul settore

FACTR 2 rende la misura della forza un passaggio software invece di un acquisto di hardware: qualsiasi braccio che riporti la corrente dei motori e lo stato dei giunti può, in linea di principio, ottenere una stima della coppia esterna da una breve sessione di registrazione. Questo conta soprattutto per i bracci economici ormai diffusi nell'apprendimento robotico, dove il ritorno di forza in teleoperazione e l'ingresso di forza nelle policy erano in gran parte fuori portata. Il confronto con la corrente grezza dei motori è un risultato utile per altri: passare la corrente direttamente alla policy ha aiutato in un compito e non nell'altro, mentre la coppia esterna stimata ha aiutato in entrambi. Le ablazioni di FIRST aggiungono una regola pratica: il secondo prima del contatto merita più peso in addestramento del contatto stesso. Entrambe le parti si basano su misure degli autori sui loro stessi allestimenti, quindi solo una replica indipendente su altri bracci mostrerà fin dove arriva l'approccio.

Abstract

La manipolazione ricca di contatti richiede sensibilità alla forza, ma molti bracci robotici non hanno sensori di forza dedicati a causa del costo elevato. Presentiamo Neural External Torque Estimation (NEXT), un metodo basato sui dati che stima le coppie esterne ai giunti senza bisogno di alcun sensore di forza dedicato. NEXT si addestra in 1 minuto con soli 10 minuti di dati di movimento libero e ottiene comunque stime paragonabili a quelle di sensori di coppia ai giunti dedicati. NEXT rende possibile la teleoperazione con ritorno di forza su bracci economici e migliora l'apprendimento di policy con Force-Informed Re-Sampling Training (FIRST), che sovracampiona i segmenti di pre-contatto e di contatto durante il behavior cloning. Su cinque compiti a lungo orizzonte, FIRST supera le policy precedenti basate sulla forza di oltre il 17% nell'avanzamento del compito. Insieme, NEXT e FIRST portano la teleoperazione e l'apprendimento di policy basati sulla forza su robot commerciali, senza hardware di rilevamento aggiuntivo. Video e codice sono disponibili su https://jasonjzliu.com/factr2

Link

arXiv 2606.12406: https://arxiv.org/abs/2606.12406
PDF: https://arxiv.org/pdf/2606.12406
Codice: https://github.com/philiphan0109/factr2_next
Pagina del progetto: https://jasonjzliu.com/factr2/