You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

作者: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

只在模擬中訓練的標準形狀空間把一段示範影片對應到新物體上；帶追蹤的閉迴路複製在電池立起上達到 100%，在 0.5 mm 齒輪插入上達到 82.9%。

為何重要

一項新的組裝技能只需一段影片加上訓練實例的 CAD 模型就能教會，不需要真實世界的訓練資料或關鍵點標註，並能沿用到向零售商購買的新實例上。有無追蹤的比較，顯示了閉迴路的物體姿態回饋在緊公差插入中有多重要。

問題

在物體實例之間轉移技能的類別層級操作方法，通常需要人工指定的語意關鍵點與昂貴的真實世界資料蒐集，並把被抓取的物體視為固定在夾爪上、以開迴路方式執行。這在長時域、接觸豐富的任務中會失效，例如頂著彈簧插入電池，此時中間的動作序列很重要，而且物體會在手中移動。

提出的方法

一個只在合成 Blender 資料上訓練的 NUNOCS Net（一種類似 PointNet 的網路），把部分點雲對應到具有 3D 非均勻縮放的類別層級標準空間，在示範物體與新物體之間建立稠密對應。一段 RGBD 示範影片由無模型的 BundleTrack 6 DoF 追蹤器解析成物體相對於承接件的姿態軌跡，重新投影到新物體上，並以下列方式執行：先以 RRT* 無碰撞地移動到距承接件 5 cm 的關鍵姿態，再進行類別層級行為複製（CatBC）。CatBC 以基於 Jacobian 矩陣的關節更新與 10 Hz 的追蹤器回饋跟隨目標軌跡，並錨定在由局部注意力機制選出的座標系上。

關鍵見解

• 把示範表示成物體相對於承接件的姿態軌跡，讓技能與示範者（人手或遙控操作的機器人）以及場景布置分離。
• 手中物體的閉迴路追蹤在接觸豐富的任務中最為重要：開啟追蹤後，電池組裝的成功率從 37.78% 提高到 82.22%，最寬鬆公差下的齒輪插入則從 42.9% 提高到 100%。
• 來自模擬中訓練之標準空間的稠密 3D 對應，比在真實資料上訓練的 2D 稠密描述子（DON）或語意關鍵點（KPAM、KPAM 2.0）更精確；即使沒有追蹤，它也勝過所有基準。
• 把執行拆成無碰撞搬運與最後一英吋的複製，讓機器人能應付示範中沒有出現的障礙物，並只重現影片中決定成敗的那一段。
• 重新示範就能教導不同的策略：錨定加樞轉（anchor-and-pivot）的示範，比單純由上往下插入得到更高的齒輪插入成功率。

主要結果

• 電池立起（9 顆測試電池，每顆 5 次試驗）：完整方法 100%，無追蹤 80.0%，基準最高 60.0%（採用以示範為基礎之複製的 KPAM 2.0）。
• 頂著彈簧的電池組裝：完整方法 82.22%，無追蹤 37.78%，基準最高 24.44%，不含複製的 KPAM、KPAM 2.0 與 DON 為 0%。
• 齒輪插入（7 個測試齒輪）：5 mm 公差下 100%（其中一個齒輪為 3 mm），0.5 mm 下 82.9%，0.1 mm 下 28.6%；最佳基準在 5 mm 下達到 31.4%，全部六個基準在 0.5 mm 下皆為 0%，無追蹤的變體在 0.5 mm 下為 5.7%。
• 在此方法與 7 個基準上共進行了 1,560 次真實世界試驗；追蹤器以 10 Hz 的相機速率執行。
• NUNOCS Net 每個類別使用 100,000 個合成資料點，而 KPAM 與 KPAM 2.0 基準每個類別則以 90,000 到 98,340 個帶關鍵點標註的真實世界資料點訓練。

限制

• 視覺是唯一的感測模態；作者預期力覺或觸覺感測能提高高精度任務的準確度。
• 只處理剛體；鉸接物體或可變形物體（例如纜線）需要其他的類別層級表徵。
• 報告的失敗模式：在電池組裝中，彈簧力可能把電池推出夾爪；在錨定加樞轉的齒輪插入中，齒輪可能在手中轉動，直到不存在無碰撞的逆運動學解。
• 在 0.1 mm 的齒輪與軸公差下，成功率降到 28.6%。
• 此方法假設抓取不會妨礙任務（抓取規劃不在其範圍內），而承接件由幾何基元建構，並以 RANSAC 定位。

對領域的影響

入圍 RSS 2022 最佳論文獎，被引用 145 次。論文並未表示會釋出其本身的程式碼或資料。

摘要

近來，在能跨物體實例推廣的類別層級操作方面已有令人期待的成果。然而，它往往需要昂貴的真實世界資料蒐集，以及為每個物體類別與任務人工指定語意關鍵點。此外，粗略的關鍵點預測與忽略中間動作序列，阻礙了它在取放之外的複雜操作任務中的採用。本研究提出一個新穎的類別層級操作框架，運用以物體為中心的類別層級表徵與無模型的 6 DoF 運動追蹤。標準物體表徵只在模擬中學習，接著用於從單一示範影片中解析出類別層級的任務軌跡。示範經由標準表徵被重新投影成針對新物體量身打造的目標軌跡。執行時，操作時域被拆解成長距離的無碰撞運動，以及最後一英吋（last-inch）的操作。對於後者，一種類別層級行為複製（CatBC）方法利用運動追蹤進行閉迴路控制。CatBC 跟隨由示範投影而來、並錨定在一個動態選擇之類別層級座標系上的目標軌跡。此座標系由局部注意力機制沿著操作時域自動選擇。此框架只需提供單一示範就能教導不同的操作策略，不需要複雜的人工程式設計。大量實驗證明它在一系列具挑戰性、高精度組裝的工業任務中的效能，這些任務涉及學習複雜的長時域策略。這個過程展現出對動力學所造成之不確定性的強健性，以及跨物體實例與場景配置的推廣能力。

連結

• arXiv 2201.12716: https://arxiv.org/abs/2201.12716
• DOI 10.48550/arXiv.2201.12716: https://doi.org/10.48550/arXiv.2201.12716
• PDF: https://arxiv.org/pdf/2201.12716v1