Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

OmniManip: Towards General Robotic Manipulation via Object-Centric Interaction Primitives as Spatial Constraints

Autori: Mingjie Pan, Jiyao Zhang, Tianshu Wu, Yinghao Zhao, Wenlong Gao, Hao Dong · CVPR 2025

Licenze

  • Open access
  • Articolo: arXiv.org perpetual, non-exclusive license 1.0

In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.

Perché è importante

Collega il ragionamento di alto livello dei modelli Vision-Language e la precisione 3D di basso livello di cui ha bisogno la manipolazione, senza fare fine-tuning del modello su dati robotici.

Soluzione proposta

Un sistema di manipolazione a vocabolario aperto con due anelli chiusi: uno per la pianificazione di alto livello tramite ricampionamento delle primitive, rendering dell'interazione e verifica del modello, e uno per l'esecuzione di basso livello tramite tracciamento della posa 6D.

Abstract

Lo sviluppo di sistemi robotici generali capaci di manipolare in ambienti non strutturati è una sfida significativa. Sebbene i modelli Vision-Language (VLM) eccellano nel ragionamento di senso comune di alto livello, mancano della comprensione spaziale 3D fine necessaria per compiti di manipolazione precisi. Sottoporre i VLM a fine-tuning su dataset robotici per creare modelli Vision-Language-Action (VLA) è una possibile soluzione, ma è ostacolata dagli alti costi di raccolta dei dati e da problemi di generalizzazione. Per affrontare queste sfide, proponiamo una nuova rappresentazione centrata sugli oggetti che colma il divario tra il ragionamento di alto livello dei VLM e la precisione di basso livello richiesta dalla manipolazione. La nostra intuizione chiave è che uno spazio canonico dell'oggetto, definito dalle sue affordance funzionali, offre un modo strutturato e semanticamente significativo per descrivere primitive di interazione, come punti e direzioni. Queste primitive fungono da ponte, traducendo il ragionamento di senso comune dei VLM in vincoli spaziali 3D attuabili. In questo contesto, introduciamo un sistema di manipolazione robotica a doppio anello chiuso e a vocabolario aperto: un anello per la pianificazione di alto livello tramite ricampionamento delle primitive, rendering dell'interazione e verifica da parte del VLM, e un altro per l'esecuzione di basso livello tramite il tracciamento della posa 6D. Questo design garantisce un controllo robusto e in tempo reale senza richiedere il fine-tuning dei VLM. Esperimenti estesi dimostrano una forte generalizzazione zero-shot su diversi compiti di manipolazione robotica, evidenziando il potenziale di questo approccio per automatizzare la generazione di dati di simulazione su larga scala.

Link

  • arXiv 2501.03841: https://arxiv.org/abs/2501.03841
  • PDF: https://arxiv.org/pdf/2501.03841.pdf
  • Codice: https://github.com/pmj110119/OmniManip
  • Pagina del progetto: https://omnimanip.github.io/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.