ManiSkill

Simulação paralelizada em GPU para habilidades de manipulação generalizáveis

Licença

Apache-2.0

Visão geral

O ManiSkill é um benchmark de simulação robótica para habilidades de manipulação generalizáveis, construído sobre o motor de física SAPIEN com paralelização em GPU. Ele roda milhares de ambientes de simulação ao mesmo tempo e suporta aprendizado visual e baseado em estado em uma ampla gama de robôs e tarefas. Oferece um protocolo de avaliação padronizado para comparar algoritmos de manipulação.

O ManiSkill é um benchmark de simulação robótica de alto desempenho que aproveita a paralelização em GPU para acelerar drasticamente a pesquisa em aprendizado de robôs. Construído sobre o motor de física SAPIEN com aceleração por GPU, o framework permite executar milhares de ambientes de simulação em paralelo simultaneamente, reduzindo o tempo de treinamento de algoritmos de aprendizado por reforço de horas para minutos. O benchmark inclui uma ampla variedade de incorporações robóticas e tarefas de manipulação abrangendo diversos níveis de dificuldade e cenários de manipulação, com suporte tanto à observação visual quanto ao aprendizado baseado em estados privilegiados. A enorme variedade de tarefas permite uma avaliação abrangente de algoritmos de manipulação em diferentes tipos de objetos, especificações de metas e interações físicas. Ao combinar desempenho computacional com diversidade de tarefas, o ManiSkill permite iterar rapidamente em algoritmos de aprendizado de robôs, ao mesmo tempo em que oferece benchmarks desafiadores que testam a capacidade de generalização.

Por que importa

O ManiSkill amplia os limites dos benchmarks de manipulação paralelizados em GPU. Com tarefas abrangendo 12 domínios distintos e uma ampla variedade de incorporações robóticas, ele permite o tipo de avaliação em larga escala que revela se um algoritmo de manipulação realmente generaliza.

Problema que resolve

A maioria dos benchmarks de manipulação tem menos de 50 tarefas, o que dificulta avaliar a generalização. O ManiSkill oferece uma ampla gama de tarefas paralelizadas em GPU para testar a fundo se as políticas aprendidas conseguem lidar com objetos, poses e cenários novos.

Pontos principais

• Tarefas abrangendo 12 domínios distintos com simulação paralelizada em GPU
• Suporta nativamente uma ampla variedade de incorporações robóticas
• Modos de observação baseados em estado e em visão
• Construído sobre o motor SAPIEN com física de contato realista
• Protocolo de avaliação padronizado para comparação justa entre algoritmos

Para quem é

• Pesquisadores que avaliam algoritmos de manipulação generalizáveis
• Equipes que fazem benchmarking de aprendizado de políticas baseado em visão
• Desenvolvedores que constroem controladores robóticos multitarefa
• Estudantes aprendendo aprendizado por reforço para manipulação

Limitações

• Requer GPU NVIDIA para o modo totalmente paralelizado em GPU
• O motor SAPIEN é menos usado que o MuJoCo, o que reduz a compatibilidade com o ecossistema
• A dificuldade das tarefas varia bastante ao longo do conjunto de benchmarks
• A documentação pode ficar atrás de recursos que evoluem rapidamente