Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

Autori: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un'unica policy di RL per robot con zampe accetta comandi di posizione e di forza e stima la forza esterna dalla cronologia dei giunti, offrendo un controllo cedevole e un'imitazione consapevole della forza senza sensori di forza.

Perché è importante

Inseguimento della posizione, controllo di forza, inseguimento della forza e controllo di impedenza derivano da un'unica policy scegliendo i comandi, senza un controllore per modalità né riaddestramento. Poiché la forza è stimata dalla propriocezione, si possono raccogliere dimostrazioni con informazioni di contatto su robot con zampe privi di sensore di forza.

Problema

La loco-manipolazione ricca di contatti richiede di modellare insieme la forza di contatto e la posizione del robot, ma i manipolatori con zampe di solito non dispongono di hardware per il rilevamento della forza. I controllori del corpo intero basati su RL si affidano soprattutto a un controllo di posizione preciso, e i grandi dataset di imitazione registrano solo traiettorie; gli autori mostrano che questi dati di sole traiettorie non bastano nemmeno per un compito di contatto elementare come cancellare una lavagna.

Soluzione proposta

Gli autori modellano il comportamento dell'end effector con una legge di impedenza semplificata, x_target = x_cmd + (F_ext + F_cmd − F_react)/K, e il comportamento della base con l'equivalente forma in velocità, poi addestrano un'unica policy PPO in Isaac Gym su comandi di posizione, velocità e forza campionati casualmente più forze di disturbo esterne fino a 60 N. La policy codifica 32 passi di cronologia delle osservazioni, usa uno stimatore di stato per predire la forza esterna, la posizione dell'end effector e la velocità della base, e produce target di posizione dei giunti per un controllore PD. Durante la teleoperazione la forza stimata viene registrata insieme alle immagini RGB e allo stato del robot, e una policy di imitazione basata sulla diffusione impara a produrre sia comandi di posizione sia comandi di forza per la policy di basso livello.

Idee chiave

Controllo di posizione, controllo di forza, controllo di impedenza, inseguimento della forza e controllo ibrido posizione/forza derivano tutti da un'unica equazione impostando i comandi di posizione e di forza; non serve alcun addestramento aggiuntivo per modalità.
Un curriculum in due fasi (prima raggiungimento con il corpo intero e locomozione, poi comandi di forza e disturbi casuali) ha addestrato in modo più stabile di una sola fase.
Guadagni PD più bassi rispetto al controllo del corpo intero basato solo sulla posizione hanno migliorato la stima della forza, ma guadagni troppo bassi hanno ridotto l'accuratezza dell'inseguimento della posizione.
Alla base, la forza esterna è compensata tramite la velocità: un umanoide G1 spinto contro il proprio comando di velocità si ferma e si inclina, e il B2 cammina in avanti quando riceve un calcio con comandi nulli.
La forza stimata aiuta soprattutto dove la visione non fornisce informazioni, come un armadietto ad apertura a pressione con una corsa di 3 mm o il frontale di un cassetto che viene occluso durante il compito.

Risultati principali

Imitazione consapevole della forza contro la stessa pipeline senza forza (50 prove per compito, Tabella A.3): wipe-blackboard 0,58 contro 0,22, open-cabinet 0,70 contro 0,36, close-cabinet 0,72 contro 0,30, open-drawer-occlusion 0,76 contro 0,30, con un successo più alto di circa il 39,5 % in media.
L'abstract e la Sezione 4.2 attribuiscono il guadagno del 39,5 % a quattro compiti; l'elenco dei contributi nell'introduzione parla di tre compiti.
Simulazione: l'errore di inseguimento dell'end effector resta per lo più entro 0,1 m con o senza comandi di forza corrispondenti, e l'errore di stima della posizione dell'end effector resta entro 0,05 m su tutti gli assi.
Controllo di forza sul robot reale da 0 N a 60 N, misurato con un dinamometro in cinque posizioni dell'end effector: errore medio entro 10 N; stima della forza su sei livelli: errore di 5–10 N. Gli assi Y e Z sono stati testati solo fino a 40 N per i limiti hardware dell'Unitree Z1.
Con un manubrio da 2,5 kg sull'end effector, un comando di forza verso l'alto di 25 N lo mantiene in posizione; senza il comando l'end effector cade.
Dimostrazioni: 50 traiettorie per wipe-blackboard (30k passi di addestramento) e 30 episodi per ciascun compito con armadietto e cassetto (20k passi).

Limiti

L'accuratezza della stima della forza peggiora nelle interazioni ad alta frequenza e ai bordi dell'area di lavoro del robot.
Resta un divario sim-to-real nell'accuratezza della forza lungo i diversi assi, soprattutto Y, che gli autori attribuiscono a discrepanze nella dinamica degli attuatori e nella modellazione dei contatti.
La forza è stimata in un unico punto di interazione, e end effector e base sono trattati in modo indipendente; l'interazione di forza multipunto e del corpo intero è lasciata a lavori futuri.
Il modello di impedenza omette i termini di smorzamento e inerzia, il che va bene per compiti quasi statici come pulire o il tiro alla fune; le abilità dinamiche richiederebbero frequenze di controllo più alte e termini di velocità e accelerazione.
La raccolta dati in teleoperazione con il controller wireless del B2 era lenta, circa 20 s per prova di pulizia e 10 s per prova con l'armadietto.

Impatto sul settore

L'articolo ha ricevuto il CoRL 2025 Best Paper Award e ha 35 citazioni. Rimanda a un sito web del progetto, unified-force.github.io; il testo dell'articolo non indica un rilascio del codice.

Abstract

La loco-manipolazione (loco-manipulation) robotica comporta spesso interazioni ricche di contatti con l'ambiente, che richiedono la modellazione congiunta della forza di contatto e della posizione del robot. Tuttavia, le recenti policy visuo-motorie si concentrano spesso solo sull'apprendimento del controllo di posizione o di forza, trascurandone l'apprendimento congiunto. Proponiamo la prima policy unificata per robot con zampe che modella congiuntamente il controllo di forza e di posizione, appresa senza ricorrere a sensori di forza. Simulando diverse combinazioni di comandi di posizione e di forza insieme a forze di disturbo esterne, usiamo l'apprendimento per rinforzo per apprendere una policy che stima le forze dagli stati storici del robot e le compensa tramite aggiustamenti di posizione e velocità. Questa policy consente un'ampia gamma di comportamenti di manipolazione con diversi input di forza e posizione, tra cui inseguimento della posizione, applicazione di forza, inseguimento della forza e interazioni cedevoli. Inoltre, dimostriamo che la policy appresa migliora le pipeline di apprendimento per imitazione basate su traiettorie incorporando informazioni di contatto essenziali tramite il suo modulo di stima della forza, ottenendo tassi di successo più alti di circa ∼39,5 % in quattro impegnativi compiti di manipolazione ricchi di contatti rispetto alle policy di controllo di posizione. Esperimenti sia su un manipolatore quadrupede sia su un robot umanoide convalidano la versatilità e la robustezza della policy proposta in scenari diversi.

Link

arXiv 2505.20829: https://arxiv.org/abs/2505.20829
PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/zhi25a/zhi25a.pdf
Pagina del progetto: https://unified-force.github.io/