Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

Autores: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma única política de RL para robôs com pernas aceita comandos de posição e de força e estima a força externa a partir do histórico das articulações, oferecendo controle complacente e imitação sensível à força sem sensores de força.

Por que importa

Rastreamento de posição, controle de força, rastreamento de força e controle de impedância saem de uma única política pela escolha dos comandos, sem controlador por modo nem retreinamento. Como a força é estimada a partir da propriocepção, demonstrações com informação de contato podem ser coletadas em robôs com pernas que não carregam sensor de força.

Problema

A locomanipulação rica em contato exige modelar juntas a força de contato e a posição do robô, mas manipuladores com pernas normalmente não têm hardware de sensoriamento de força. Controladores de corpo inteiro com RL dependem principalmente de controle de posição preciso, e grandes conjuntos de dados de imitação registram apenas trajetórias; os autores mostram que esses dados só de trajetórias não bastam nem para uma tarefa de contato básica como apagar um quadro-negro.

Solução proposta

Os autores modelam o comportamento do efetuador final com uma lei de impedância simplificada, x_target = x_cmd + (F_ext + F_cmd − F_react)/K, e o comportamento da base com a forma equivalente em velocidade, e então treinam uma única política PPO no Isaac Gym com comandos de posição, velocidade e força amostrados aleatoriamente mais forças de perturbação externas de até 60 N. A política codifica 32 passos de histórico de observações, usa um estimador de estado para prever a força externa, a posição do efetuador final e a velocidade da base, e gera alvos de posição articular para um controlador PD. Durante a teleoperação, a força estimada é registrada com imagens RGB e o estado do robô, e uma política de imitação baseada em difusão aprende a gerar comandos de posição e de força para a política de baixo nível.

Principais ideias

Controle de posição, controle de força, controle de impedância, rastreamento de força e controle híbrido de posição/força decorrem todos de uma única equação, definindo os comandos de posição e de força; não é preciso treinamento extra por modo.
Um currículo em duas etapas (primeiro alcance com o corpo inteiro e locomoção, depois comandos de força e perturbações aleatórios) treinou de forma mais estável que uma única etapa.
Ganhos PD menores que no controle de corpo inteiro baseado apenas em posição melhoraram a estimativa de força, mas ganhos baixos demais reduziram a precisão do rastreamento de posição.
Na base, a força externa é compensada pela velocidade: um humanoide G1 empurrado contra seu comando de velocidade para e se inclina, e o B2 anda para a frente quando chutado com comandos zerados.
A força estimada ajuda mais onde a visão não traz informação, como um armário de abrir por pressão com curso de 3 mm ou uma frente de gaveta que fica ocluída durante a tarefa.

Principais resultados

Imitação sensível à força contra o mesmo pipeline sem força (50 tentativas por tarefa, Tabela A.3): wipe-blackboard 0,58 contra 0,22, open-cabinet 0,70 contra 0,36, close-cabinet 0,72 contra 0,30, open-drawer-occlusion 0,76 contra 0,30, cerca de 39,5 % mais sucesso em média.
O resumo e a Seção 4.2 atribuem o ganho de 39,5 % a quatro tarefas; a lista de contribuições da introdução fala em três tarefas.
Simulação: o erro de rastreamento do efetuador final fica em geral dentro de 0,1 m com ou sem comandos de força correspondentes, e o erro de estimativa da posição do efetuador final fica dentro de 0,05 m em todos os eixos.
Controle de força no robô real de 0 N a 60 N, medido com um dinamômetro em cinco posições do efetuador final: erro médio dentro de 10 N; estimativa de força em seis níveis: erro de 5–10 N. Os eixos Y e Z só foram testados até 40 N por causa dos limites do hardware do Unitree Z1.
Com um haltere de 2,5 kg no efetuador final, um comando de força para cima de 25 N o mantém no lugar; sem o comando, o efetuador final cai.
Demonstrações: 50 trajetórias para wipe-blackboard (30k passos de treinamento) e 30 episódios para cada tarefa de armário e gaveta (20k passos).

Limitações

A precisão da estimativa de força se degrada em interações de alta frequência e nas bordas do espaço de trabalho do robô.
Permanece uma lacuna sim-to-real na precisão da força ao longo dos diferentes eixos, especialmente Y, que os autores atribuem a discrepâncias na dinâmica dos atuadores e na modelagem de contato.
A força é estimada em um único ponto de interação, e o efetuador final e a base são tratados de forma independente; a interação de força multiponto e de corpo inteiro fica para trabalhos futuros.
O modelo de impedância omite os termos de amortecimento e inércia, o que serve para tarefas quase estáticas como limpar ou cabo de guerra; habilidades dinâmicas precisariam de frequências de controle maiores e de termos de velocidade e aceleração.
A coleta de dados teleoperada com o controle sem fio do B2 era lenta, cerca de 20 s por tentativa de limpeza e 10 s por tentativa de armário.

Impacto na área

O artigo recebeu o CoRL 2025 Best Paper Award e tem 35 citações. Ele aponta para um site do projeto, unified-force.github.io; o texto do artigo não informa a disponibilização de código.

Resumo

A locomanipulação (loco-manipulation) robótica frequentemente envolve interações ricas em contato com o ambiente, exigindo a modelagem conjunta da força de contato e da posição do robô. No entanto, as políticas visuomotoras recentes muitas vezes se concentram apenas em aprender o controle de posição ou de força, deixando de lado seu aprendizado conjunto. Propomos a primeira política unificada para robôs com pernas que modela conjuntamente o controle de força e de posição, aprendida sem depender de sensores de força. Simulando diversas combinações de comandos de posição e de força junto com forças de perturbação externas, usamos aprendizado por reforço para aprender uma política que estima as forças a partir dos estados históricos do robô e as compensa por meio de ajustes de posição e velocidade. Essa política permite uma ampla gama de comportamentos de manipulação sob diferentes entradas de força e posição, incluindo rastreamento de posição, aplicação de força, rastreamento de força e interações complacentes. Além disso, demonstramos que a política aprendida aprimora pipelines de aprendizado por imitação baseados em trajetórias ao incorporar informações de contato essenciais por meio de seu módulo de estimativa de força, atingindo taxas de sucesso aproximadamente ∼39,5 % maiores em quatro tarefas desafiadoras de manipulação ricas em contato em relação às políticas de controle de posição. Experimentos tanto em um manipulador quadrúpede quanto em um robô humanoide validam a versatilidade e a robustez da política proposta em cenários diversos.

Open Source Robotics