ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

作者: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

將雙手運動建模為一個 1-DoF 螺旋關節，從一段人類 RGB-D 影片中擷取出來，並在 Tiago++ 上藉由在螺旋空間中搜尋加以改進；六項任務共 18 次試驗中有 16 次成功。

為何重要

此方法每項任務只需要一段 RGB-D 影片，不需要遠端操作設備、動作捕捉或模擬器。把探索限制在螺旋軸上，讓三項在 6-DoF 路徑點探索下失敗的任務，在 25 個真實機器人回合內轉為成功。

問題

雙臂操作需要兩支手臂在空間與時間上同步，這造成很大的動作空間，在真實硬體上進行隨機探索並不實際。人類影片是便宜的示範來源，但手部追蹤有雜訊，且人體與機器人的身體不同，因此直接重播的動作會失敗而必須改進，這又把龐大的搜尋空間帶了回來。

提出的方法

依循將雙手建模為串聯運動鏈的生物力學研究，ScrewMimic 定義了一種螺旋動作：每隻手的抓取點、描述右手相對於左手運動的 1-DoF 螺旋軸（平移、旋轉，或固定方向的旋轉），以及一條可選的左手軌跡。它使用手部物體偵測器與 FrankMocap 從一段 RGB-D 影片中擷取此動作，在經幾何擴增的點雲上訓練 PointNet 模型，以針對新的物體姿態進行預測，並以交叉熵法在螺旋軸空間中改進失敗的預測，所用的獎勵由回合長度與腕部力/力矩讀數自行產生。成功的動作會被加回去重新訓練預測器。

關鍵見解

• 許多雙手任務，不論是有實體關節（瓶子、筆電、捲筒）或沒有（攪拌、切割、拉拉鍊），都可以用雙手之間一個虛擬的 1-DoF 螺旋關節來描述。
• 把帶有雜訊的手部追蹤軌跡投影到螺旋軸上，能在機器人使用示範之前將其清理乾淨。
• 在螺旋軸參數上探索，而不是在 N×6-DoF 路徑點上探索，讓真實機器人的微調可以在 25 個回合內完成。
• 兩個獎勵項都不可或缺：少了抓取失落偵測或平均力旋量排序，開瓶與攪拌都會失敗。
• 成功的微調動作可用來重新訓練預測器，之後它在同一物體上幾乎能零樣本成功，並能適應同一類別的新實例。

主要結果

• 新的物體姿態（表 I）：開瓶 2/3、拉上拉鍊 3/3、插入捲筒 3/3、闔上筆電 3/3、攪拌 2/3、切割 3/3，即 18 次試驗中有 16 次成功，論文將其報告為 90% 的整體成功率。
• 成功的試驗平均需要 7 到 18 個回合（1 到 3 個輪次，每輪 5 個回合），上限為 25 個回合；微調約需 40 分鐘。
• 動作空間消融實驗（表 III）：螺旋空間探索在瓶子、捲筒與筆電上，分別於 25 個回合中的第 16、7 與 11 個回合後成功；FM + N×6-DoF（DEFT 式）與 Screw + N×6-DoF 探索在 25 個回合內三項全部失敗，任務完成度為 0–50%。
• 以修正後的動作重新訓練（表 II）：在同一物體上，開瓶從 3 個輪次/16 個回合降為 0/1，插入捲筒從 1/7 降為 0/2；在新瓶子上，重新訓練的模型需要 2/14，再多一輪後為 0/1。
• 在加入最大雜訊（σ = 3.0 cm、12.5°）時，擷取出的軸偏差 2.1 cm 與 13.1°，微調仍在 4 個輪次、21 個回合後成功。
• 在 ModelNet-40 上預訓練的 PointNet 降低了未見過瓶子上的軸誤差（例如從 0.09 m、6° 降到 0.03 m、4.2°），而訓練用瓶子上的誤差維持不變。

限制

• 單一螺旋軸不適用於雙手沿多個軸移動的任務，例如鋸齒狀切割。
• 每個物體類別都要訓練一個獨立的預測模型，這限制了泛化能力。
• 回合是否成功由人工記錄，必要時由人重設場景。
• 只微調螺旋軸，而不微調抓取接觸點；筆電等反光表面必須加以覆蓋，因為深度感測器無法從所有角度看到它們。
• 每次試驗最多 25 個回合，結果取決於最初取樣的螺旋動作；兩次失敗的試驗都在找不到成功動作的情況下結束。

對領域的影響

入圍 RSS 2024 傑出學生論文獎決選，被引用 44 次。官方專案頁面連結了程式碼：github.com/UT-Austin-RobIn/ScrewMimic。

摘要

雙臂操作一直是機器人領域的長期挑戰，因為它涉及大量自由度，並需要嚴格的空間與時間同步才能產生有意義的行為。人類透過觀察他人以及在遊戲中精進能力來學習雙手操作技能。在這項研究中，我們的目標是讓機器人從人類影片示範中學習雙臂操作行為，並透過互動加以微調。受到心理學與生物力學開創性研究的啟發，我們提出將兩隻手之間的互動建模為一個串聯運動學連桿，具體而言是一個螺旋運動，並以此定義一種新的雙臂操作動作空間：螺旋動作。我們提出 ScrewMimic，這是一個運用此新穎動作表示法來促進從人類示範中學習與自我監督式策略微調的框架。我們的實驗顯示，ScrewMimic 能從單一人類影片示範中學會多種複雜的雙臂行為，而且優於直接在兩支手臂原始運動空間中解讀示範並進行微調的基準方法。更多資訊與影片結果請見 https://robin-lab.cs.utexas.edu/ScrewMimic/

連結

• arXiv 2405.03666: https://arxiv.org/abs/2405.03666
• DOI 10.48550/arXiv.2405.03666: https://doi.org/10.48550/arXiv.2405.03666
• PDF: https://arxiv.org/pdf/2405.03666v1
• 程式碼: https://github.com/UT-Austin-RobIn/ScrewMimic
• 專案頁面: https://robin-lab.cs.utexas.edu/ScrewMimic/