FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects
作者: Ben Eisner, Harry Zhang, David Held · RSS 2022
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
一個網路預測鉸接物體上每個點會如何移動；機器人抓住移動量最大的點並順著它移動，在完全沒有真實訓練資料的情況下，達到 64% 的真實世界成功率。
為何重要
這種表示法不需要知道物體的運動學樹，因此一個只用模擬點雲訓練的模型，就能打開從未見過的類別中的物體，而且不必微調就能轉移到真實的 Sawyer 機械手臂上。對實務工作者而言，它把感知（部件在哪裡、如何移動）與一條簡單的解析控制規則分開，讓策略維持閉迴路且容易檢視。
問題
家中的機器人必須打開門、抽屜、蓋子以及類似的鉸接物體，而這些物體的幾何形狀與運動學在同一類別內和不同類別之間差異都很大。估測關節軸等鉸接參數的方法，通常仰賴特定類別的物體結構知識，因此無法套用到新類別。
提出的方法
作者定義了 3D 鉸接流（3D Articulation Flow）：對點雲中的每個點而言，就是其所屬部件被稍微打開時，該點會移動的正規化方向。ArtFlowNet 是一個以 PointNet++ 為基礎的網路，在模擬的 PartNet-Mobility 物體上以監督式學習訓練，從單一點雲預測這個流。接著，FlowBot3D 用吸盤夾爪抓住預測流最大的點（須通過邊緣與曲率篩選），並反覆重新預測流，沿著接觸點附近最大的可見流向量移動夾爪，直到部件被打開。
關鍵見解
- 對於滑動關節，任何一點上的最佳拉動方向都是沿著關節軸；對於旋轉關節，最佳方向是離軸最遠那一點的切線方向，因此鉸接流最大的點就是理想的抓取點。
- 逐點流與階層結構無關，且限定在單位球內，因此對平移與縮放具有不變性，不需要特定類別的運動學模型就能學習。
- 即使以真值流作為輸入，行為複製與 DAgger 策略的表現仍然很差，而解析式的流追隨策略表現良好。
- 模擬中算繪的點雲與真實深度資料之間的領域差距很小，作者認為這是能直接從模擬轉移到現實的原因；訓練時的視角擴增有助於轉移，但在模擬中幾乎沒有改變結果。
主要結果
- 模擬（ManiSkill 搭配 PartNet-Mobility，成功的定義為超過運動範圍的 90%）：FlowBot3D 在訓練類別的未見實例上平均成功率為 0.77，在 10 個未見類別上為 0.69；使用真值流的 oracle 分別達到 0.92 與 0.82。
- 最佳的行為複製基準（DAgger Oracle + F）在訓練類別上成功率為 0.33，在未見類別上為 0.16；UMPNet 風格的基準分別為 0.52 與 0.45。
- 到開啟狀態的平均正規化距離：FlowBot3D 為 0.12（訓練類別）與 0.15（未見類別），UMPNet 風格的基準則為 0.29 與 0.36。
- 真實世界，14 個家用物體、在 Sawyer 機械手臂上進行 70 次試驗：整體成功 45/70（64.3%），接觸成功 64/70（91.4%），接觸後運動成功 45/64（70.3%）。
- 使用相同接觸點選擇方式的真實世界 DAgger 基準，在 10/70 次試驗中成功（14.3%），平均距離為 0.73，FlowBot3D 則為 0.22。
限制
- 大多數真實世界的失敗來自流預測錯誤，常發生在機器人遮住了大部分場景或沒能偵測到鉸接時（例如真實的烤箱），以及在無法形成密封的點上吸盤接觸失敗。
- 作者表示，需要更具順應性的手臂控制器與更強的接觸品質預測模組，才能消除許多失敗模式；線上修正錯誤預測則留待未來研究。
- 此方法涵蓋具有 1-DoF 旋轉或滑動關節且底座固定的物體；球窩關節、自由漂浮物體與可變形物體不在範圍內。
- 真實的吸盤夾爪無法在邊緣、把手或高曲率處形成密封，因此抓取點是以手動調整的邊緣、曲率與距離經驗法則來選擇，而非理想的最大流點。
- 真實測試物體必須放得進工作空間、具備適合吸附的表面，而且對深度攝影機來說不能太暗或太會反光。
對領域的影響
這篇論文入圍 RSS 2022 最佳論文獎決選，被引用 168 次。作者透過專案網站釋出程式碼、資料與補充資料。
摘要
我們探索一種感知與操作 3D 鉸接物體的新方法，此方法具有泛化能力，讓機器人能操作沒見過的物體類別。我們提出一個以視覺為基礎的系統，它學習預測各式鉸接物體各部件的潛在運動，用以引導系統下游的運動規劃來操作這些物體。為了預測物體運動，我們訓練一個神經網路，輸出一個稠密向量場，表示點雲中各點在鉸接運動下的逐點運動方向。接著，我們部署一個以此向量場為基礎的解析式運動規劃器，得到一個能產生最大鉸接運動的策略。我們完全在模擬中訓練此視覺系統，並在模擬與真實世界中展示系統泛化到未見過的物體實例與新類別的能力，將策略部署在 Sawyer 機器人上，完全不需要微調。結果顯示，我們的系統在模擬與真實世界實驗中都達到了最先進的效能。
連結
- arXiv 2205.04382: https://arxiv.org/abs/2205.04382
- DOI 10.48550/arXiv.2205.04382: https://doi.org/10.48550/arXiv.2205.04382
- PDF: https://arxiv.org/pdf/2205.04382v1
- 程式碼: https://github.com/r-pad/flowbot3d
- 專案頁面: https://sites.google.com/view/articulated-flowbot-3d/home