Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

Autores: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una única política de RL para robots con patas acepta comandos de posición y de fuerza y estima la fuerza externa a partir del historial de las articulaciones, lo que da un control complaciente y una imitación consciente de la fuerza sin sensores de fuerza.

Por qué importa

El seguimiento de posición, el control de fuerza, el seguimiento de fuerza y el control de impedancia salen de una sola política eligiendo los comandos, sin un controlador por modo ni reentrenamiento. Como la fuerza se estima a partir de la propiocepción, pueden recogerse demostraciones con información de contacto en robots con patas que no llevan sensor de fuerza.

Problema

La locomanipulación con abundante contacto requiere modelar juntas la fuerza de contacto y la posición del robot, pero los manipuladores con patas no suelen tener hardware de detección de fuerza. Los controladores de cuerpo completo con RL dependen sobre todo de un control de posición preciso, y los grandes conjuntos de datos de imitación solo registran trayectorias; los autores muestran que esos datos solo de trayectorias no bastan ni siquiera para una tarea de contacto básica como borrar una pizarra.

Solución propuesta

Los autores modelan el comportamiento del efector final con una ley de impedancia simplificada, x_target = x_cmd + (F_ext + F_cmd − F_react)/K, y el comportamiento de la base con la forma equivalente en velocidad, y después entrenan una sola política PPO en Isaac Gym con comandos de posición, velocidad y fuerza muestreados aleatoriamente más fuerzas de perturbación externas de hasta 60 N. La política codifica 32 pasos de historial de observaciones, usa un estimador de estado para predecir la fuerza externa, la posición del efector final y la velocidad de la base, y genera objetivos de posición articular para un controlador PD. Durante la teleoperación, la fuerza estimada se registra junto con imágenes RGB y el estado del robot, y una política de imitación basada en difusión aprende a generar comandos tanto de posición como de fuerza para la política de bajo nivel.

Ideas clave

• El control de posición, el control de fuerza, el control de impedancia, el seguimiento de fuerza y el control híbrido de posición/fuerza se derivan todos de una sola ecuación fijando los comandos de posición y de fuerza; no hace falta entrenamiento adicional por modo.
• Un currículo en dos etapas (primero alcance con todo el cuerpo y locomoción, después comandos de fuerza y perturbaciones aleatorios) entrenó de forma más estable que una sola etapa.
• Unas ganancias PD más bajas que en el control de cuerpo completo basado solo en la posición mejoraron la estimación de la fuerza, pero unas ganancias demasiado bajas redujeron la precisión del seguimiento de posición.
• En la base, la fuerza externa se compensa mediante la velocidad: un humanoide G1 empujado en contra de su comando de velocidad se detiene y se inclina, y el B2 camina hacia delante cuando recibe una patada con comandos nulos.
• La fuerza estimada ayuda sobre todo cuando la visión no aporta información, como en un armario de apertura por presión con un recorrido de 3 mm o un frente de cajón que queda ocluido durante la tarea.

Resultados principales

• Imitación consciente de la fuerza frente al mismo pipeline sin fuerza (50 ensayos por tarea, Tabla A.3): wipe-blackboard 0,58 frente a 0,22, open-cabinet 0,70 frente a 0,36, close-cabinet 0,72 frente a 0,30, open-drawer-occlusion 0,76 frente a 0,30, alrededor de un 39,5 % más de éxito de media.
• El resumen y la Sección 4.2 atribuyen la mejora del 39,5 % a cuatro tareas; la lista de contribuciones de la introducción habla de tres tareas.
• Simulación: el error de seguimiento del efector final se mantiene en su mayor parte dentro de 0,1 m con o sin comandos de fuerza correspondientes, y el error de estimación de la posición del efector final se mantiene dentro de 0,05 m en todos los ejes.
• Control de fuerza en el robot real de 0 N a 60 N, medido con un dinamómetro en cinco posiciones del efector final: error medio dentro de 10 N; estimación de fuerza en seis niveles: error de 5–10 N. Los ejes Y y Z solo se probaron hasta 40 N por los límites del hardware del Unitree Z1.
• Con una mancuerna de 2,5 kg en el efector final, un comando de fuerza hacia arriba de 25 N la mantiene en su sitio; sin el comando, el efector final cae.
• Demostraciones: 50 trayectorias para wipe-blackboard (30k pasos de entrenamiento) y 30 episodios para cada tarea de armario y cajón (20k pasos).

Limitaciones

• La precisión de la estimación de fuerza se degrada en interacciones de alta frecuencia y en los bordes del espacio de trabajo del robot.
• Persiste una brecha sim-to-real en la precisión de la fuerza a lo largo de los distintos ejes, sobre todo Y, que los autores atribuyen a discrepancias en la dinámica de los actuadores y en el modelado del contacto.
• La fuerza se estima en un único punto de interacción, y el efector final y la base se tratan de forma independiente; la interacción de fuerza multipunto y de todo el cuerpo queda para trabajo futuro.
• El modelo de impedancia omite los términos de amortiguamiento e inercia, lo que encaja con tareas cuasiestáticas como limpiar o tirar de una cuerda; las habilidades dinámicas necesitarían frecuencias de control más altas y términos de velocidad y aceleración.
• La recogida de datos teleoperada con el mando inalámbrico del B2 era lenta, unos 20 s por ensayo de limpieza y 10 s por ensayo de armario.

Impacto en el campo

El artículo recibió el CoRL 2025 Best Paper Award y tiene 35 citas. Remite a un sitio web del proyecto, unified-force.github.io; el texto del artículo no indica que se publique el código.

Resumen

La locomanipulación (loco-manipulation) robótica implica a menudo interacciones con abundante contacto con el entorno, que requieren modelar conjuntamente la fuerza de contacto y la posición del robot. Sin embargo, las políticas visomotoras recientes suelen centrarse solo en aprender el control de posición o el de fuerza, y pasan por alto su aprendizaje conjunto. Proponemos la primera política unificada para robots con patas que modela conjuntamente el control de fuerza y de posición y que se aprende sin depender de sensores de fuerza. Simulando diversas combinaciones de comandos de posición y de fuerza junto con fuerzas de perturbación externas, usamos aprendizaje por refuerzo para aprender una política que estima las fuerzas a partir de los estados históricos del robot y las compensa mediante ajustes de posición y velocidad. Esta política permite una amplia gama de comportamientos de manipulación con distintas entradas de fuerza y posición, incluidos el seguimiento de posición, la aplicación de fuerza, el seguimiento de fuerza y las interacciones complacientes. Además, demostramos que la política aprendida mejora los pipelines de aprendizaje por imitación basados en trayectorias al incorporar información de contacto esencial mediante su módulo de estimación de fuerza, y logra tasas de éxito aproximadamente ∼39,5 % más altas en cuatro tareas de manipulación difíciles con abundante contacto respecto a las políticas de control de posición. Los experimentos tanto en un manipulador cuadrúpedo como en un robot humanoide validan la versatilidad y la robustez de la política propuesta en escenarios diversos.

Enlaces

• arXiv 2505.20829: https://arxiv.org/abs/2505.20829
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/zhi25a/zhi25a.pdf
• Página del proyecto: https://unified-force.github.io/