ManiSkill

Simulazione parallelizzata su GPU per abilità di manipolazione generalizzabili

Licenza

Apache-2.0

Panoramica

ManiSkill è un benchmark di simulazione robotica per abilità di manipolazione generalizzabili, basato sul motore fisico SAPIEN con parallelizzazione su GPU. Esegue migliaia di ambienti di simulazione contemporaneamente e supporta l'apprendimento sia visivo sia basato sullo stato su un'ampia gamma di robot e compiti. Fornisce un protocollo di valutazione standardizzato per confrontare gli algoritmi di manipolazione.

ManiSkill è un benchmark di simulazione robotica ad alte prestazioni che sfrutta la parallelizzazione su GPU per accelerare drasticamente la ricerca sull'apprendimento dei robot. Costruito sul motore fisico SAPIEN con accelerazione GPU, il framework consente di eseguire contemporaneamente migliaia di ambienti di simulazione paralleli, riducendo il tempo di addestramento degli algoritmi di apprendimento per rinforzo da ore a minuti. Il benchmark include un'ampia gamma di embodiment robotici e compiti di manipolazione che coprono livelli di difficoltà e scenari di manipolazione diversi, con supporto sia per l'osservazione visiva sia per l'apprendimento basato sullo stato privilegiato. L'enorme varietà di compiti consente una valutazione completa degli algoritmi di manipolazione su diversi tipi di oggetti, specifiche degli obiettivi e interazioni fisiche. Combinando prestazioni di calcolo e diversità dei compiti, ManiSkill consente di iterare rapidamente sugli algoritmi di apprendimento dei robot e offre benchmark impegnativi che mettono alla prova le capacità di generalizzazione.

Perché è importante

ManiSkill spinge oltre i limiti dei benchmark di manipolazione parallelizzati su GPU. Con compiti che coprono 12 domini distinti e un'ampia gamma di embodiment robotici, consente il tipo di valutazione su larga scala che rivela se un algoritmo di manipolazione generalizza davvero.

Il problema che risolve

La maggior parte dei benchmark di manipolazione ha meno di 50 compiti, il che rende difficile valutare la generalizzazione. ManiSkill offre un'ampia gamma di compiti parallelizzati su GPU per verificare a fondo se le policy apprese sanno gestire oggetti, pose e scenari nuovi.

Punti chiave

• Compiti che coprono 12 domini distinti con simulazione parallelizzata su GPU
• Supporta subito un'ampia gamma di embodiment robotici
• Modalità di osservazione sia basate sullo stato sia basate sulla visione
• Costruito sul motore SAPIEN con una fisica di contatto realistica
• Protocollo di valutazione standardizzato per un confronto equo tra algoritmi

A chi si rivolge

• Ricercatori che valutano algoritmi di manipolazione generalizzabili
• Team che confrontano metodi di apprendimento di policy basati sulla visione
• Sviluppatori che costruiscono controller robotici multi-compito
• Studenti che imparano l'apprendimento per rinforzo per la manipolazione

Limiti

• Richiede una GPU NVIDIA per la modalità completa parallelizzata su GPU
• Il motore SAPIEN è meno diffuso di MuJoCo, il che riduce la compatibilità con l'ecosistema
• La difficoltà dei compiti varia notevolmente all'interno della suite di benchmark
• La documentazione può restare indietro rispetto a funzionalità in rapida evoluzione