Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

作者: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

RRT 產生的示範動作熵很高，會損害行為複製；一致性較高的規劃器資料，能為高接觸任務訓練出可零樣本轉移到硬體的擴散策略。

為何重要

論文顯示，決定以規劃示範進行行為複製能否成功的，是規劃器的設計，而不只是資料量：低熵資料勝過具機率完備性的 RRT 資料，儘管 RRT 的狀態涵蓋略好。它為涉及整條手臂接觸與多指協調、目前遠端操作介面難以示範的任務，提供了取得訓練資料的途徑。

問題

行為複製主要在人類能以遠端操作完成示範的情況下奏效，但常見的遠端操作介面只追蹤末端執行器，因此涉及整條手臂接觸或多指協調的示範很難蒐集。以強化學習作為資料來源時，限制條件被當成獎勵懲罰，使獎勵塑形與模擬到現實（Sim2Real）的轉移變得複雜。本文探討以模型為基礎的接觸規劃器應如何為這類任務產生訓練資料。

提出的方法

一個使用平滑化準動態接觸模型的規劃器先提出規劃，再於不做接觸平滑的物理模擬器中分段重新執行，以產生狀態-動作示範；接著把實際到達的狀態重新標註為目標（事後目標重新標註）。以這些資料訓練一個目標條件擴散策略（具 FiLM 條件調制的 1D U-Net）。為了一致性，規劃器做了修改：雙臂任務採用貪婪搜尋；手內任務則在 24 個標準立方體方位上使用稀疏機率路徑圖，搭配固定的基元與預先計算的抓取。

關鍵見解

RRT 在每次擴展樹時都會取樣子目標，因而產生動作熵很高、難以學習的示範，在資料很少時尤其如此。
較好的狀態涵蓋並沒有帶來較好的策略：RRT 資料涵蓋的狀態略多，訓練出的策略卻明顯不如貪婪規劃器資料。
事後目標重新標註（hindsight goal relabelling）把次佳或失敗的示範，轉為針對其實際到達狀態的有效訓練配對。
在立方體任務中，由主策略與最終調整策略組成的混合策略能抵銷資料不平衡，使模擬成功率比單一統一策略提高約 10%。
使用了較長的動作時域（40 與 60 步），因為短時域會在不同動作模式之間切換而造成動作不順暢。

主要結果

模擬中的 IiwaBimanual（100 個初始位置）：使用 100 個示範時，貪婪規劃器資料達到 99% 成功率，Contact-RRT 資料為 44%；使用 500、1,000 與 5,000 個示範時，分別為 98%、99% 與 100%，對比 63%、88% 與 84%。
模擬，100 個初始姿態：混合策略在 AllegroHand-Easy 上為 82%，AllegroHand-Hard 上為 68%，統一策略則為 74% 與 57%；IiwaBimanual 為 99%。
硬體 AllegroHand（混合策略）：每個變體 24 次試驗中成功 15 次（62.5%），成功試驗的方位誤差為 13.7 ± 5.9°（Easy）與 15.5 ± 5.2°（Hard）。
硬體 IiwaBimanual：20 次試驗中成功 18 次（90%）；失敗的試驗最終方位誤差約 15°，略高於 0.2 rad（11.5°）的門檻。
儘管有模型不匹配（真實物體為 1.25 kg、直徑 0.59 m，模擬中為 1.0 kg、0.6 m），而且沒有使用領域隨機化，轉移仍是零樣本的。

限制

策略常無法對訓練資料中不存在的分布外狀態做出反應，這是預先計算基元的結果；這種情況在硬體上更常發生。
DAgger 式的修正難以套用，因為規劃器無法從任意的系統組態出發找到解。
IiwaBimanual 策略有時會在順時針與逆時針旋轉之間來回抖動，因此常花費比必要更長的時間；AllegroHand 策略有時會使用比所需更長的基元序列。
統一 AllegroHand 策略的最佳資料混合比例仍未確定，而以上一次的動作預測為推論熱啟動以減少抖動，留待未來研究。
訓練或資料產生過程中，都沒有對物體或機器人的幾何形狀或摩擦進行領域隨機化。

對領域的影響

這篇論文獲得 RA-L 最佳論文獎（列為 RA-L 2026），被引用 23 次。論文釋出了一段硬體實驗影片（https://youtu.be/CxgjJmiiEhI）；論文沒有提到釋出程式碼或資料集。

摘要

行為複製（BC）在機器人操作上的巨大成功，大多侷限於能透過人類遠端操作有效蒐集示範的任務。然而，對於需要複雜協調多個接觸點的高接觸操作任務，受限於目前遠端操作介面，示範很難蒐集。我們研究如何利用以模型為基礎的規劃與最佳化，為高接觸的靈巧操作任務產生訓練資料。我們的分析顯示，像快速探索隨機樹（RRT）這類常見的取樣式規劃器，雖然在運動規劃上很有效率，卻會產生熵值過高、不利學習的示範。這促使我們修改資料產生流程，在維持解的多樣性的同時，優先確保示範的一致性。結合以擴散為基礎的目標條件 BC 方法，我們的方法在兩項具挑戰性的高接觸操作任務上，實現了有效的策略學習，並能零樣本轉移到硬體上。

連結

arXiv 2412.09743: https://arxiv.org/abs/2412.09743
DOI 10.1109/LRA.2025.3564701: https://doi.org/10.1109/LRA.2025.3564701
PDF: https://arxiv.org/pdf/2412.09743v1