Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

作者: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个面向足式机器人的 RL 策略接受位置和力指令，并根据关节历史估计外力，无需力传感器即可实现柔顺控制和力感知的模仿学习。

为何重要

位置跟踪、力控制、力跟踪和阻抗控制都可以通过选择指令从同一个策略中得到，无需为每种模式单独设计控制器或重新训练。由于力是根据本体感知估计的，因此可以在没有搭载力传感器的足式机器人上收集包含接触信息的示范。

问题

接触丰富的移动操作需要对接触力和机器人位置一起建模，但足式操作机器人通常没有力感知硬件。RL 全身控制器大多依赖精确的位置控制，而大型模仿学习数据集只记录轨迹；作者表明，这种只有轨迹的数据即使对于擦黑板这样基础的接触任务也是不够的。

提出的方法

作者用一个简化的阻抗定律 x_target = x_cmd + (F_ext + F_cmd − F_react)/K 对末端执行器行为建模，用其等效的速度形式对基座行为建模，然后在 Isaac Gym 中训练一个 PPO 策略，训练时使用随机采样的位置、速度和力指令，并加入最大 60 N 的外部扰动力。该策略编码 32 步观测历史，使用一个状态估计器来预测外力、末端执行器位置和基座速度，并为 PD 控制器输出关节位置目标。在遥操作过程中，估计的力与 RGB 图像和机器人状态一起被记录下来，一个基于扩散的模仿策略学习为底层策略同时输出位置指令和力指令。

关键见解

• 位置控制、力控制、阻抗控制、力跟踪以及位置/力混合控制，都可以通过设定位置指令和力指令从同一个方程中得到；每种模式都不需要额外训练。
• 两阶段课程（先进行全身伸展和运动，再加入随机力指令和扰动）比单阶段训练更稳定。
• 比纯位置式全身控制更低的 PD 增益改善了力估计，但增益过低会降低位置跟踪精度。
• 在基座处，外力通过速度来补偿：G1 人形机器人在被逆着其速度指令推动时会停下并倾身抵抗，而 B2 在指令为零时被踢一脚会向前走。
• 在视觉信息不足的场景中，估计的力帮助最大，例如行程仅 3 mm 的按压式开启橱柜，或在任务过程中被遮挡的抽屉面板。

主要结果

• 力感知模仿与不含力信息的相同流程对比（每项任务 50 次试验，Table A.3）：wipe-blackboard 0.58 对 0.22，open-cabinet 0.70 对 0.36，close-cabinet 0.72 对 0.30，open-drawer-occlusion 0.76 对 0.30，平均成功率高约 39.5%。
• 摘要和 Section 4.2 将 39.5% 的提升归于四项任务；引言中的贡献列表则称是三项任务。
• 仿真：无论有无相应的力指令，末端执行器跟踪误差大多保持在 0.1 m 以内，末端执行器位置估计误差在所有轴上都保持在 0.05 m 以内。
• 真实机器人从 0 N 到 60 N 的力控制，在五个末端执行器位置用测力计测量：平均误差在 10 N 以内；六个力等级下的力估计：误差为 5–10 N。由于 Unitree Z1 硬件限制，Y 轴和 Z 轴只测试到 40 N。
• 在末端执行器上挂一个 2.5 kg 的哑铃时，25 N 的向上力指令能将其保持在原位；没有该指令时，末端执行器会下落。
• 示范数据：wipe-blackboard 为 50 条轨迹（30k 训练步），每项橱柜和抽屉任务各 30 个回合（20k 步）。

局限

• 在高频交互中以及在机器人工作空间的边缘，力估计精度会下降。
• 不同轴向上的力精度仍存在仿真到现实的差距，尤其是 Y 轴，作者将其归因于执行器动力学和接触建模上的失配。
• 力只在单个交互点上估计，且末端执行器和基座被独立处理；多点和全身的力交互留待未来工作。
• 阻抗模型省略了阻尼项和惯性项，这适合擦拭或拔河等准静态任务；动态技能则需要更高的控制频率以及速度项和加速度项。
• 使用 B2 无线遥控器进行遥操作数据收集的速度较慢，每次擦拭试验约 20 s，每次橱柜试验约 10 s。

对领域的影响

该论文获得 CoRL 2025 最佳论文奖，被引用 35 次。论文指向一个项目网站 unified-force.github.io；论文正文没有说明会发布代码。

摘要

机器人的移动操作（loco-manipulation）往往涉及与环境之间接触丰富的交互，需要对接触力和机器人位置进行联合建模。然而，近来的视觉运动策略往往只专注于学习位置控制或力控制，忽视了二者的协同学习。我们提出首个面向足式机器人的统一策略，它对力控制和位置控制进行联合建模，且学习过程不依赖力传感器。通过模拟位置指令与力指令的多种组合以及外部扰动力，我们利用强化学习训练出一个策略，它能从机器人的历史状态中估计力，并通过调整位置和速度来对其进行补偿。该策略能在不同的力和位置输入下实现多种操作行为，包括位置跟踪、施力、力跟踪和柔顺交互。此外，我们证明，所学策略通过其力估计模块引入关键的接触信息，增强了基于轨迹的模仿学习流程，在四项具有挑战性的接触丰富型操作任务中，成功率比位置控制策略高出约 ∼39.5%。在四足机械臂和人形机器人上的实验，验证了所提策略在多种场景下的通用性和鲁棒性。

链接

• arXiv 2505.20829: https://arxiv.org/abs/2505.20829
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/zhi25a/zhi25a.pdf
• 项目主页: https://unified-force.github.io/