APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

作者: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

APriCoT 把一次手內重新抓取拆成由脫離、跨越與接觸組成的四個短 RL 基元，讓模擬中的 Shadow Hand Lite 能把物體轉半圈並達到目標抓握。

為何重要

多數以學習為基礎的手內操作只獎勵旋轉本身，而不檢查最終的抓握，但最終抓握決定了工具接下來能否使用。論文顯示，依接觸狀態進行分解，讓這項任務變得可以學習，而兩個已發表的基準方法在此任務上都失敗了。由於各基元共用同一個獎勵，加入新的轉移時不需重新設計獎勵。

問題

手內工具操作既要在手中移動工具，又要以適合下一項任務的抓握結束，例如握住一個盒子，讓開口保持暢通以便倒出內容物。以 RL 學習這件事很困難，因為目標抓握要經過許多次接觸狀態變化才能達成，使獎勵變得稀疏；而且所需的手指動作會隨接觸狀態大幅變化，迫使代理進行廣泛且樣本效率低落的探索。

提出的方法

APriCoT 依據三種動作表示（脫離、跨越、接觸）建立接觸狀態轉移圖，只允許符合以下條件的狀態：抓握屬於可抓持（prehensile）抓握、至少三根手指接觸物體，且手指維持拇指-食指-中指-無名指的順序。目標任務是把細長物體旋轉半圈並回到精密抓握，它被拆成四個基元，每個基元讓一根手指跨過物體；每個基元一個策略，共用一個逐步獎勵，且每個策略都從前一個策略的輸出狀態開始。策略在 Isaac Gym 中以 PPO 用教師-學生架構訓練，其中學生從指令與量測的關節角推斷物體形狀。

關鍵見解

• 把重新抓取描述為接觸狀態轉移，可將一個長時間、獎勵稀疏的任務變成數個短基元，而手指在每個基元中執行相似的動作。
• 讓每個基元都從最穩定的狀態（所有手指都接觸物體）開始並結束於該狀態，使初始狀態在模擬中容易取樣，也容易在策略之間串接。
• 以完整的脫離-跨越-接觸序列訓練每個基元，而不是單獨訓練每一步，可以避免多餘的動作，例如在跨越前把手指抬得太高。
• 指令關節角與量測關節角之間的差異，讓學生策略能編碼物體形狀；對其潛在變數做 t-SNE 後，會依形狀分群。

主要結果

• 兩個基準方法都無法完成此任務：一種改良的手內旋轉方法（Baseline A）能旋轉物體，但未達到期望的抓握；一種針對可捏取物體的方法（Baseline B）在跨越時讓物體滾動並掉落。
• APriCoT 完成了半圈旋轉並達到期望的精密抓握；引言報告其對各種形狀物體的成功率為 90%。
• 在強健性測試中（每種形狀取樣 1,000 個初始狀態，深度 0.02-0.035 m，ε2 從 ≃0 到 1），第 IV-B 節報告幾乎所有形狀的成功率都高於 90%，在訓練中未使用的形狀上成功率也相近。
• 第 IV-B 節也報告，較厚的橢圓形物體（深度大、ε2 高）成功率約為 75%，作者將此歸因於曲率使物體往側邊滑動。
• 訓練在 NVIDIA RTX 3090 GPU 上的 Isaac Gym 中執行 32,768 個平行環境，模擬頻率 120 Hz，控制頻率 20 Hz。

限制

• 所有實驗都在模擬中進行；作者預期領域隨機化與教師-學生學習有助於模擬到現實的轉移，但未在硬體上測試。
• 單靠關節角無法偵測像橫滾旋轉這類物體姿態，而漏掉這些資訊可能讓物體失去穩定並掉落；作者計畫加入視覺資訊。
• 只著眼於接觸狀態轉移，並不能保證操作後物體處於期望的方向。
• 接觸狀態轉移圖是人工設計的，作者表示在眾多操作上這相當耗費人力。
• 只展示了一種操作（轉半圈後回到精密抓握，四個基元）。

對領域的影響

獲得 Humanoids 2024 最佳口頭報告獎，被引用 2 次。論文列出了獎勵超參數、隨機化範圍與網路大小，但未說明是否釋出程式碼或模型。

摘要

手內工具操作不只是在手中操弄工具（即手內操作），還要在操作之後達成適合任務的抓握。本研究旨在透過深度強化學習習得手內工具操作技能。學習此技能的困難在於，這種操作需要 (A) 探索長期的接觸狀態變化以達成期望的抓握，以及 (B) 依接觸狀態轉移而高度多樣的動作。(A) 導致成功抓握的獎勵稀疏，(B) 則要求 RL 代理在狀態-動作空間中廣泛探索以學習高度多樣的動作，造成樣本效率低落。為解決這些問題，本研究提出以接觸狀態轉移為基礎的動作基元（Action Primitives based on Contact-state Transition，APriCoT）。APriCoT 依據三種動作表示（脫離、跨越、接觸），把操作描述為接觸狀態轉移，藉此將操作分解為短期的動作基元。在每個動作基元中，手指只需執行短期且相似的動作。藉由為每個基元訓練一個策略，我們能緩解 (A) 與 (B) 帶來的問題。本研究聚焦於一項基本操作，作為手內工具操作的範例：把以精密抓握握住的細長物體旋轉半圈，並回到初始抓握。實驗結果顯示，與現有研究不同，我們的方法在旋轉與達成期望抓握兩方面都成功。此外，也發現此策略對物體形狀的變化具有強健性。

連結

• arXiv 2407.11436: https://arxiv.org/abs/2407.11436
• DOI 10.1109/Humanoids58906.2024.10769968: https://doi.org/10.1109/Humanoids58906.2024.10769968
• PDF: https://arxiv.org/pdf/2407.11436v1