OmniManip: Towards General Robotic Manipulation via Object-Centric Interaction Primitives as Spatial Constraints
作者: Mingjie Pan, Jiyao Zhang, Tianshu Wu, Yinghao Zhao, Wenlong Gao, Hao Dong · CVPR 2025
授權條款
依 arXiv 的授權條款,以下內容僅依據摘要撰寫。
為何重要
它在不以機器人資料微調模型的情況下,銜接視覺語言模型的高層次推理與操作所需的低階 3D 精度。
提出的方法
一套開放詞彙的操作系統,具有兩個閉迴路:一個透過基元重新取樣、互動算繪與模型檢查進行高層次規劃,另一個透過 6D 姿態追蹤進行低階執行。
摘要
開發能在非結構化環境中進行操作的通用機器人系統是一項重大挑戰。雖然視覺語言模型(VLM)擅長高階常識推理,卻缺乏精確操作任務所需的細粒度 3D 空間理解。在機器人資料集上微調 VLM 以建立視覺-語言-動作模型(VLA)是一種可能的解法,但它受到高昂的資料蒐集成本與泛化問題所阻礙。為了因應這些挑戰,我們提出一種新穎的以物件為中心的表示,彌合 VLM 高階推理與操作所需的低階精度之間的落差。我們的關鍵洞見是:由功能可供性所定義的物件標準空間,提供了一種結構化且具語意意義的方式來描述點與方向等互動基元。這些基元作為橋梁,將 VLM 的常識推理轉換為可執行的 3D 空間約束。在此脈絡下,我們提出一個雙閉迴路、開放詞彙的機器人操作系統:一個迴路透過基元重新取樣、互動渲染與 VLM 檢查進行高階規劃,另一個迴路則透過 6D 姿態追蹤進行低階執行。這個設計在不需要微調 VLM 的情況下,確保穩健的即時控制。大量實驗證明了它在多樣機器人操作任務上強大的零樣本泛化能力,突顯出這種方法在自動化大規模模擬資料生成上的潛力。
連結
- arXiv 2501.03841: https://arxiv.org/abs/2501.03841
- PDF: https://arxiv.org/pdf/2501.03841.pdf
- 程式碼: https://github.com/pmj110119/OmniManip
- 專案頁面: https://omnimanip.github.io/