Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

Autori: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, Shuran Song · RSS 2023

RSS 2023

Licenze

  • Open access
  • Articolo: arXiv.org perpetual, non-exclusive license 1.0

In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.

Perché è importante

Introduce un nuovo modo di generare il comportamento dei robot, trattando la policy come un processo di diffusione, e riporta che supera in media del 46,9 % i metodi di apprendimento robotico allo stato dell'arte esistenti, su 12 compiti tratti da 4 benchmark. Gli autori sperano che stimoli una nuova generazione di metodi di apprendimento delle policy basati su modelli di diffusione.

Soluzione proposta

La policy visuomotoria del robot è rappresentata come un processo di diffusione condizionato di denoising. La policy apprende il gradiente della funzione di score della distribuzione delle azioni e, in inferenza, affina le azioni lungo quel gradiente con una serie di passi stocastici di dinamica di Langevin.

Abstract

Questo articolo presenta Diffusion Policy, un nuovo modo di generare il comportamento dei robot rappresentando la policy visuomotoria di un robot come un processo di diffusione condizionato con denoising. Valutiamo Diffusion Policy su 12 compiti diversi tratti da 4 diversi benchmark di manipolazione robotica e troviamo che supera costantemente i metodi di apprendimento robotico allo stato dell'arte esistenti, con un miglioramento medio del 46,9%. Diffusion Policy apprende il gradiente della funzione score della distribuzione delle azioni e ottimizza iterativamente rispetto a questo campo di gradienti durante l'inferenza, tramite una serie di passi stocastici di dinamica di Langevin. Troviamo che la formulazione a diffusione offre vantaggi notevoli quando viene usata per le policy robotiche: gestisce con eleganza le distribuzioni multimodali delle azioni, è adatta a spazi d'azione ad alta dimensionalità e mostra un'impressionante stabilità di addestramento. Per sbloccare pienamente il potenziale dei modelli di diffusione nell'apprendimento di policy visuomotorie su robot fisici, questo articolo presenta una serie di contributi tecnici chiave, tra cui l'adozione del controllo a orizzonte recedente, il condizionamento visivo e il Transformer di diffusione per serie temporali. Speriamo che questo lavoro contribuisca a motivare una nuova generazione di tecniche di apprendimento delle policy in grado di sfruttare le potenti capacità di modellazione generativa dei modelli di diffusione. Codice, dati e dettagli di addestramento sono pubblicamente disponibili.

Link

  • arXiv 2303.04137: https://arxiv.org/abs/2303.04137
  • PDF: https://arxiv.org/pdf/2303.04137.pdf
  • Codice: https://github.com/real-stanford/diffusion_policy
  • Pagina del progetto: https://diffusion-policy.cs.columbia.edu/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.