A System for General In-Hand Object Re-Orientation

作者: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

結合教師-學生蒸餾、抬起姿態初始化與重力課程的無模型 RL，在模擬的 Shadow Hand 中重新定向 2000 多個物體，掌心朝上或朝下皆可，不需形狀輸入。

為何重要

這些策略不需任何物體形狀輸入，就能達到任意 SO(3) 目標方向，作者稱這是他們最令人意外的發現，也意味著形狀感知對手內重新定向的重要性可能不如預期。手朝下與借助桌面的情況，涵蓋了先前專注於掌心朝上的學習式重新定向研究所未處理的手部組態。

問題

在多指手中重新定向物體，代表要在手指與物體的接觸不斷建立又斷開的同時，控制一個高維度的動作空間。先前的方法大多只在模擬中以已知物體模型的簡單形狀展示，或在真實機器人上需要動作擷取等額外設備，無法跨物體推廣，而且幾乎都假設手朝上。

提出的方法

教師策略在 2000 多個 EGAD 與 YCB 物體上，以模擬器的特權狀態（包括物體與指尖速度）用 PPO 訓練，再以 DAgger 蒸餾成學生策略；學生策略看到的要麼是關節位置加上物體姿態，要麼只有來自兩台 RGBD 相機、經稀疏 3D 卷積網路（Sparse3D-IMPALA-Net）處理的體素化點雲。對於沒有桌面的朝下手部，回合從另一個物體抬起策略的終止狀態開始，並透過課程逐步引入重力。

關鍵見解

無法取得物體形狀的策略也能重新定向許多未見過的物體；手朝上時，學得的策略會讓物體旋轉著拋起，並在其方向與目標相符時接住。
物體與指尖速度等特權狀態能更快訓練出更好的策略，而以 DAgger 蒸餾到 31 維的精簡狀態（關節位置、物體位置、方向差）則保留了大部分成功率。
手朝下且沒有支撐時，直接訓練的成功率為 0%；讓回合從抬起策略的終止狀態開始，並加入重力課程，就能讓任務變得可學習。
以目前與目標物體點雲之間的 Chamfer 距離作為額外的成功判斷，可處理對稱物體，這類物體的不同方向在相機看來完全相同。
在 50-150 g 物體上訓練的策略，能以零樣本方式重新定向質量改設為 0.3-0.5 kg 的 YCB 物體，成功率約 75%。

主要結果

手朝上，全狀態 RNN 教師（在無領域隨機化下訓練與測試）：EGAD 上成功率 95.95 ± 0.8%，YCB 上 80.40 ± 1.6%。
手朝上，精簡狀態 RNN 學生：EGAD 上 91.96 ± 1.5%，YCB 上 81.04 ± 0.5%。
手朝下、位於桌面上方，全狀態 MLP：95.31 ± 0.9%（EGAD）與 81.59 ± 0.7%（YCB）；用於初始化的物體抬起策略成功率為 97.80%（EGAD）與 90.11%（YCB）。
手朝下、懸空，精簡狀態學生：74.10 ± 2.3%（EGAD）與 45.22 ± 2.1%（YCB）；使用重力課程後，YCB 提升到 67.33 ± 1.9%。
跨資料集零樣本轉移，手朝上，全狀態：EGAD→YCB 為 68.82 ± 1.7%，YCB→EGAD 為 96.41 ± 1.2%。
逐物體的視覺策略（θ̄ = 0.2 rad，Chamfer 閾值 0.01）：馬克杯 89.67 ± 1.2%，玩具飛機 84.52 ± 1.4%，對稱的 Lego Duplo 積木 50.21-66.57%。

限制

所有實驗都在模擬中進行（Isaac Gym 中的模擬 Shadow Hand）；作者因疫情而限縮研究範圍，只為真實世界轉移提供間接證據（領域隨機化與峰值扭矩分析）。
由於計算成本，視覺策略在六個物體上逐一各訓練一個；適用於多個物體的單一視覺策略留待未來研究，GPU 記憶體被指為主要瓶頸。
成功率隨物體形狀有很大差異：在分析的 100 個 YCB 失敗案例中，60% 由細長、小或薄的物體造成，另有 19% 結束時接近目標，但超出 0.1 rad 的閾值。
作者並未完全排除拋接策略鑽了模擬器漏洞的可能，儘管他們的受力分析顯示並非如此。
手朝下且無支撐時的重新定向，在 YCB 上仍遠低於手朝上的情況（學生未使用課程時為 45.22%，使用課程時為 67.33%）。

對領域的影響

榮獲 CoRL 2021 最佳論文獎，351 次引用。論文在專案頁面上公開學得策略的影片，官方專案頁面並連結到一個程式碼儲存庫（Improbable-AI/dexenv）。

摘要

由於致動空間維度高，加上手指與物體之間的接觸狀態頻繁改變，手內物體重新定向一直是機器人領域中具挑戰性的問題。我們提出一個簡單的無模型框架，能學會在手朝上與朝下兩種情況下重新定向物體。我們展示在這兩種情況下重新定向 2000 多個幾何形狀各異之物體的能力。學得的策略在新物體上展現出強大的零樣本轉移效能。我們將這些策略蒸餾成使用在真實世界中容易取得的觀測，藉此提供證據，顯示這些策略適合用於真實世界的操作。學得策略的影片請見：https://taochenshh.github.io/projects/in-hand-reorientation。

連結

arXiv 2111.03043: https://arxiv.org/abs/2111.03043
DOI 10.48550/arXiv.2111.03043: https://doi.org/10.48550/arXiv.2111.03043
PDF: https://proceedings.mlr.press/v164/chen22a/chen22a.pdf
程式碼: https://github.com/Improbable-AI/dexenv
專案頁面: https://taochenshh.github.io/projects/in-hand-reorientation