OmniManip: Towards General Robotic Manipulation via Object-Centric Interaction Primitives as Spatial Constraints
Autori: Mingjie Pan, Jiyao Zhang, Tianshu Wu, Yinghao Zhao, Wenlong Gao, Hao Dong · CVPR 2025
Licenze
- Open access
- Articolo: arXiv.org perpetual, non-exclusive license 1.0
In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.
Perché è importante
Collega il ragionamento di alto livello dei modelli Vision-Language e la precisione 3D di basso livello di cui ha bisogno la manipolazione, senza fare fine-tuning del modello su dati robotici.
Soluzione proposta
Un sistema di manipolazione a vocabolario aperto con due anelli chiusi: uno per la pianificazione di alto livello tramite ricampionamento delle primitive, rendering dell'interazione e verifica del modello, e uno per l'esecuzione di basso livello tramite tracciamento della posa 6D.
Abstract
Lo sviluppo di sistemi robotici generali capaci di manipolare in ambienti non strutturati è una sfida significativa. Sebbene i modelli Vision-Language (VLM) eccellano nel ragionamento di senso comune di alto livello, mancano della comprensione spaziale 3D fine necessaria per compiti di manipolazione precisi. Sottoporre i VLM a fine-tuning su dataset robotici per creare modelli Vision-Language-Action (VLA) è una possibile soluzione, ma è ostacolata dagli alti costi di raccolta dei dati e da problemi di generalizzazione. Per affrontare queste sfide, proponiamo una nuova rappresentazione centrata sugli oggetti che colma il divario tra il ragionamento di alto livello dei VLM e la precisione di basso livello richiesta dalla manipolazione. La nostra intuizione chiave è che uno spazio canonico dell'oggetto, definito dalle sue affordance funzionali, offre un modo strutturato e semanticamente significativo per descrivere primitive di interazione, come punti e direzioni. Queste primitive fungono da ponte, traducendo il ragionamento di senso comune dei VLM in vincoli spaziali 3D attuabili. In questo contesto, introduciamo un sistema di manipolazione robotica a doppio anello chiuso e a vocabolario aperto: un anello per la pianificazione di alto livello tramite ricampionamento delle primitive, rendering dell'interazione e verifica da parte del VLM, e un altro per l'esecuzione di basso livello tramite il tracciamento della posa 6D. Questo design garantisce un controllo robusto e in tempo reale senza richiedere il fine-tuning dei VLM. Esperimenti estesi dimostrano una forte generalizzazione zero-shot su diversi compiti di manipolazione robotica, evidenziando il potenziale di questo approccio per automatizzare la generazione di dati di simulazione su larga scala.
Link
- arXiv 2501.03841: https://arxiv.org/abs/2501.03841
- PDF: https://arxiv.org/pdf/2501.03841.pdf
- Codice: https://github.com/pmj110119/OmniManip
- Pagina del progetto: https://omnimanip.github.io/