Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models

作者: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

將接觸動力學平滑化，不論是像 RL 一樣透過取樣，或是用對數障壁函數解析地進行，都能得到有用的梯度；搭配凸的準動態模型，RRT 就能在約一分鐘內規劃靈巧操作任務。

為何重要

此方法為接觸豐富的任務提供一種線上、以模型為基礎的替代方案，取代訓練強化學習策略：手內旋轉、放置筆、靠牆拿起盤子與開門的規劃，在 CPU 上約一分鐘的量級就能產生。作者將此與仰賴數小時或數天離線計算的 RL 工具相比，並形容他們的規劃器在環境與任務方面都具備可推廣性。

問題

透過接觸進行以模型為基礎的規劃，面臨三個障礙：接觸模式的數量爆炸性增加（3D 手內操作可能有數兆種），接觸動力學剛性且非平滑，使梯度爆炸或跳動，而且規劃問題是非凸的。強化學習透過對接觸模式取樣並取平均來處理接觸豐富的操作，但仰賴以小時或天計的離線計算。現有針對接觸、以取樣為基礎的規劃器會明確地列舉或取樣接觸模式，隨著接觸數量增加，擴展性很差。

提出的方法

作者首先證明，隨機平滑化（像 RL 一樣取樣並取平均）與解析平滑化計算的是同一個平滑替代模型的局部線性模型，在簡單系統上兩者等價。接著他們建立 CQDC，這是一種凸的、準動態的、可微分的接觸模型，表述為採用 Anitescu 摩擦鬆弛的二階錐規劃，其梯度來自 KKT 條件，並以對數障壁鬆弛進行解析平滑化。最後，他們執行 RRT，其局部 Mahalanobis 距離度量與擴展步驟都以平滑化線性化建立，並加入一個把機器人重新放回接觸狀態的接觸取樣步驟，再以迭代 MPC 與捷徑化來精修得到的路徑。

關鍵見解

隨機平滑化（RL 採用的方式）與解析平滑化，是計算同一個平滑化動力學局部線性模型的兩種方式；它們在簡單系統上等價，在複雜範例上的表現也相近。
以對數障壁鬆弛進行解析平滑化，每次線性化只需求解一次，因此比對 100 個樣本取平均的隨機平滑化執行得更快。
準動態模型捨棄了速度與暫態動力學，使狀態維度減半，並允許使用大得多的時間步長，因此每次線性化都能告訴規劃器更多關於長期行為的資訊。
以平滑化線性化建立的局部 Mahalanobis 度量，讓 RRT 能遵守接觸可達性；手動調整的全域一致加權歐氏度量則表現差得多。
對於需要重新放置機器人的任務（平面推動、平面手、Allegro 手內旋轉），接觸取樣不可或缺，但對拿起盤子或放置筆則不需要。

主要結果

迭代 MPC，10 次迭代、5 次試驗中的最小成本：Allegro 手內旋轉在解析平滑化下為 5.78，使用精確（未平滑化）梯度時為 44.68；平面推動為 11.74 相較於 31.64。
在接觸模式變化很少的平面手任務上，精確梯度也表現良好（成本 18.49，解析平滑化為 26.55，一階隨機平滑化為 17.87）。
在 32 個執行緒上使用 100 個樣本時，隨機平滑化在迭代 MPC 中比解析平滑化慢 2 到 3 倍（Allegro 旋轉：40.07 s 相較於 19.59 s）。
以解析平滑化執行 1000 次迭代的 RRT 耗時 3.25 s（平面推動）、31.01 s（Allegro 旋轉）、24.84 s（放置筆）、12.42 s（開門）與 117.16 s（拿起盤子）；一階隨機平滑化耗時 7.50 s 到 161.64 s。
在每個 RRT 任務中，對度量與擴展使用精確線性化時，目標距離與空間涵蓋都比任何平滑化方案差得多。
所有實驗都在一台配備 AMD Threadripper 2950 CPU（16 核心、32 執行緒）與 32 GB RAM 的桌上型電腦上執行。

限制

接觸取樣會讓機器人在不同組態之間瞬間移動，這在物理上不成立；只有在移開手指後物體仍保持靜態平衡時才有效（例如球放在朝上的手掌上），對朝下的手則不適用。
較大的擴展步長會因 Anitescu 對庫侖摩擦的凸鬆弛而產生非物理的假影，因此需要以迭代 MPC 與捷徑化進行精修，才能得到物理上真實的軌跡。
準動態假設在高度動態的行為中不再成立。
樹的成長仍可能卡住，從一個父節點長出許多失敗的子節點，形成「掃帚」。
此版本的所有結果都是在模擬中得到（在 Drake 中實作）；即時規劃被列為未來研究。

對領域的影響

這篇論文獲得 T-RO 2024 King-Sun Fu 紀念最佳論文獎（榮譽提名），被引用 210 次。論文釋出了所產生規劃的影片；此版本沒有提供程式碼連結。

摘要

強化學習（RL）在接觸豐富的操作情境中獲得了經驗上的成功，但從以模型為基礎的觀點來看，仍有許多地方有待理解；在此觀點下，主要困難通常歸因於：(i) 接觸模式的爆炸性增加，(ii) 剛性、非平滑的接觸動力學，以及由此造成的梯度爆炸／不連續，與 (iii) 規劃問題的非凸性。RL 的隨機性質透過有效地對接觸模式取樣並取平均，解決了 (i) 與 (ii)。另一方面，以模型為基礎的方法則藉由解析地平滑化接觸動力學，來因應同樣的挑戰。我們的第一個貢獻，是在簡單系統上建立這兩種方法的理論等價性，並在數個複雜範例上提供定性與經驗上的等價性。為了進一步緩解 (ii)，我們的第二個貢獻是一種凸的、可微分的準動態接觸動力學表述，它適用於這兩種平滑化方案，且實驗證明它對接觸豐富的規劃非常有效。我們的最後一個貢獻解決了 (iii)：我們證明當接觸模式透過平滑化被抽象化時，經典的以取樣為基礎的運動規劃演算法能有效進行全域規劃。將我們的方法應用在一系列具挑戰性的接觸豐富操作任務上，我們證明了有效率的以模型為基礎的運動規劃，能以大幅減少的計算量達到與 RL 相當的結果。影片：https://youtu.be/12Ew4xC-VwA

連結

arXiv 2206.10787: https://arxiv.org/abs/2206.10787
DOI 10.1109/TRO.2023.3300230: https://doi.org/10.1109/TRO.2023.3300230
PDF: https://arxiv.org/pdf/2206.10787v1