Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

Autori: Yanjie Ze, Gu Zhang, Kangning Zhang, Chenyuan Hu, Muhan Wang, Huazhe Xu · RSS 2024

RSS 2024

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Una diffusion policy basata su nuvole di punti 3D che generalizza rispetto a punti di vista, oggetti e configurazioni spaziali, con l'85% di successo nel mondo reale con appena 40 dimostrazioni.

Perché è importante

DP3 fornisce finora la prova più chiara che le rappresentazioni 3D sono una strada pratica verso policy robotiche generalizzabili. Mostrando che semplici nuvole di punti più la diffusione producono una forte generalizzazione rispetto al punto di vista e all'istanza con un numero minimo di dimostrazioni, sostiene in modo convincente un apprendimento delle policy basato prima di tutto sul 3D, al posto del paradigma dominante delle immagini 2D.

Problema

Le policy di apprendimento per imitazione basate su immagini 2D faticano a generalizzare rispetto a cambi di punto di vista, riorganizzazioni spaziali e nuove istanze di oggetti, perché non hanno una comprensione spaziale 3D esplicita. Questo ne limita l'impiego pratico in ambienti reali non strutturati.

Soluzione proposta

DP3 elabora nuvole di punti sparse con un encoder 3D compatto per produrre caratteristiche spaziali invarianti rispetto al punto di vista, che vengono poi usate per condizionare un modello di diffusione per la generazione delle azioni. Questa semplice combinazione di rappresentazioni 3D e diffusion policy produce una forte generalizzazione senza architetture complesse né grandi dataset.

Idee chiave

  • Le rappresentazioni compatte a nuvola di punti 3D offrono un'invarianza intrinseca rispetto al punto di vista che manca in modo fondamentale alle policy basate su immagini 2D
  • Nuvole di punti sparse elaborate da un encoder efficiente sono sufficienti per la manipolazione: una ricostruzione 3D densa completa è un costo aggiuntivo inutile
  • La generazione di azioni basata sulla diffusione gestisce la multimodalità della manipolazione meglio della regressione deterministica o di semplici policy gaussiane
  • Bastano 10-40 dimostrazioni per ottenere prestazioni elevate, il che rende l'approccio pratico per l'impiego nel mondo reale
  • Le rappresentazioni 3D riducono in modo naturale le violazioni di sicurezza fornendo una comprensione spaziale accurata della geometria della scena

Risultati principali

  • Miglioramento relativo del 24,2% rispetto alle baseline su 72 compiti simulati con sole 10 dimostrazioni ciascuno
  • Tasso di successo dell'85% negli esperimenti nel mondo reale con appena 40 dimostrazioni per compito
  • Forte generalizzazione rispetto a variazioni spaziali, di punto di vista, di aspetto e di istanza
  • Molte meno violazioni di sicurezza rispetto ai metodi di riferimento 2D
  • Abbastanza efficiente per il controllo in tempo reale grazie all'encoder compatto per nuvole di punti

Limiti

  • Richiede hardware di rilevamento della profondità (telecamere RGB-D o LiDAR), che aggiunge costi e complessità alla configurazione del robot
  • La qualità della nuvola di punti peggiora in condizioni difficili come oggetti trasparenti, superfici riflettenti o scarsa illuminazione
  • La rappresentazione a nuvola di punti sparsa può perdere dettagli geometrici fini necessari per una manipolazione molto precisa
  • Valutazione principalmente sulla manipolazione su tavolo: la scalabilità a compiti su scala più ampia non è dimostrata

Impatto sul settore

DP3 sta guidando uno spostamento verso un apprendimento delle policy consapevole del 3D. La sua dimostrazione che nuvole di punti compatte forniscono una comprensione geometrica sufficiente per la manipolazione sta influenzando il modo in cui la comunità progetta gli spazi di osservazione, andando oltre il paradigma delle sole immagini 2D che ha dominato l'apprendimento per imitazione.

Abstract

I metodi di apprendimento per imitazione si basano di solito su osservazioni da immagini 2D, il che limita la loro capacità di generalizzare rispetto a cambi di punto di vista, variazioni spaziali e diverse istanze di oggetti. Presentiamo 3D Diffusion Policy (DP3), che combina rappresentazioni visive 3D compatte, ricavate da nuvole di punti sparse elaborate da un encoder efficiente, con la generazione di azioni basata sulla diffusione. Nei test in simulazione su 72 compiti, DP3 ottiene un miglioramento relativo del 24,2% rispetto alle baseline con sole 10 dimostrazioni per compito. Gli esperimenti con robot reali mostrano tassi di successo dell'85% con 40 dimostrazioni per compito e una generalizzazione rispetto a variazioni spaziali, di punto di vista, di aspetto e di istanza. In particolare, l'approccio provoca raramente violazioni di sicurezza rispetto ai metodi di riferimento. Rendiamo pubblici video, codice e dati.

Link

  • arXiv 2403.03954: https://arxiv.org/abs/2403.03954
  • PDF: https://arxiv.org/pdf/2403.03954.pdf
  • Codice: https://github.com/YanjieZe/3D-Diffusion-Policy
  • Pagina del progetto: https://3d-diffusion-policy.github.io/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.