Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

作者: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個針對足式機器人的 RL 策略接受位置與力指令，並從關節歷史估計外力，不需力感測器即可實現柔順控制與具力感知的模仿學習。

為何重要

位置追蹤、力控制、力追蹤與阻抗控制，只要選擇指令就能從同一個策略得到，不需要為每種模式另設控制器或重新訓練。由於力是從本體感知估計的，因此可以在沒有搭載力感測器的足式機器人上蒐集包含接觸資訊的示範。

問題

高接觸的移動操作需要同時建模接觸力與機器人位置，但足式操作機器人通常沒有力感測硬體。RL 全身控制器大多仰賴精確的位置控制，而大型模仿學習資料集只記錄軌跡；作者顯示，這種只有軌跡的資料，即使對擦黑板這種基本的接觸任務也不夠。

提出的方法

作者以簡化的阻抗定律 x_target = x_cmd + (F_ext + F_cmd − F_react)/K 建模末端執行器的行為，以其等效的速度形式建模基座的行為，接著在 Isaac Gym 中訓練一個 PPO 策略，訓練時使用隨機取樣的位置、速度與力指令，並加上最高 60 N 的外部擾動力。此策略編碼 32 步的觀測歷史，使用狀態估測器預測外力、末端執行器位置與基座速度，並為 PD 控制器輸出關節位置目標。遠端操作時，估計的力會與 RGB 影像及機器人狀態一起記錄，而一個以擴散為基礎的模仿策略會學習為底層策略同時輸出位置指令與力指令。

關鍵見解

• 位置控制、力控制、阻抗控制、力追蹤以及位置/力混合控制，都可透過設定位置指令與力指令從同一個方程式得到；每種模式都不需要額外訓練。
• 兩階段課程（先進行全身伸展與行走運動，再加入隨機力指令與擾動）比單一階段訓練更穩定。
• 比純位置式全身控制更低的 PD 增益改善了力估計，但增益太低會降低位置追蹤的準確度。
• 在基座處，外力透過速度補償：G1 人形機器人被逆著其速度指令推動時會停下並傾身抵抗，而 B2 在指令為零時被踢一下會往前走。
• 在視覺資訊不足的情況下，估計的力最有幫助，例如行程只有 3 mm 的按壓式開啟櫥櫃，或在任務過程中被遮蔽的抽屜面板。

主要結果

• 具力感知的模仿與不含力的相同流程比較（每項任務 50 次試驗，Table A.3）：wipe-blackboard 0.58 對 0.22，open-cabinet 0.70 對 0.36，close-cabinet 0.72 對 0.30，open-drawer-occlusion 0.76 對 0.30，平均成功率高約 39.5%。
• 摘要與 Section 4.2 把 39.5% 的提升歸於四項任務；引言的貢獻列表則寫三項任務。
• 模擬：無論有沒有相應的力指令，末端執行器追蹤誤差大多維持在 0.1 m 以內，末端執行器位置估計誤差在所有軸向上都維持在 0.05 m 以內。
• 真實機器人從 0 N 到 60 N 的力控制，在五個末端執行器位置以測力計量測：平均誤差在 10 N 以內；六個力等級下的力估計：誤差為 5–10 N。受限於 Unitree Z1 的硬體，Y 軸與 Z 軸只測試到 40 N。
• 在末端執行器上掛一個 2.5 kg 的啞鈴時，25 N 的向上力指令能讓它保持原位；沒有這個指令時，末端執行器會下垂。
• 示範資料：wipe-blackboard 為 50 條軌跡（30k 訓練步），每項櫥櫃與抽屜任務各 30 個回合（20k 步）。

限制

• 在高頻互動中以及在機器人工作範圍的邊緣，力估計的準確度會下降。
• 不同軸向的力準確度仍有模擬到現實的落差，尤其是 Y 軸，作者將其歸因於致動器動力學與接觸建模的不匹配。
• 力只在單一互動點上估計，且末端執行器與基座被分開處理；多點與全身的力互動留待未來研究。
• 阻抗模型省略了阻尼項與慣性項，這適合擦拭或拔河等準靜態任務；動態技能則需要更高的控制頻率，以及速度項與加速度項。
• 使用 B2 無線控制器以遠端操作蒐集資料的速度很慢，每次擦拭試驗約 20 s，每次櫥櫃試驗約 10 s。

對領域的影響

這篇論文獲得 CoRL 2025 最佳論文獎，被引用 35 次。論文指向專案網站 unified-force.github.io；論文內文沒有說明會釋出程式碼。

摘要

機器人的移動操作（loco-manipulation）往往涉及與環境之間的高接觸互動，需要同時建模接觸力與機器人位置。然而，近來的視覺運動策略往往只專注於學習位置控制或力控制，忽略了兩者的共同學習。我們提出第一個針對足式機器人的統一策略，同時建模力控制與位置控制，且學習過程不依賴力感測器。透過模擬位置指令與力指令的多種組合以及外部擾動力，我們以強化學習訓練出一個策略，能從機器人的歷史狀態估計力，並透過調整位置與速度來補償。此策略能在不同的力與位置輸入下實現多種操作行為，包括位置追蹤、施力、力追蹤與柔順互動。此外，我們展示所學到的策略透過其力估計模組納入關鍵的接觸資訊，強化了以軌跡為基礎的模仿學習流程，在四項具挑戰性的高接觸操作任務中，成功率比位置控制策略高出約 ∼39.5%。在四足機器手臂與人形機器人上的實驗，驗證了所提策略在多樣情境下的通用性與穩健性。

連結

• arXiv 2505.20829: https://arxiv.org/abs/2505.20829
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/zhi25a/zhi25a.pdf
• 專案頁面: https://unified-force.github.io/