ManiSkill

Simulación paralelizada en GPU para habilidades de manipulación generalizables

Licencia

Apache-2.0

Resumen

ManiSkill es un benchmark de simulación robótica para habilidades de manipulación generalizables, construido sobre el motor de física SAPIEN con paralelización en GPU. Ejecuta miles de entornos de simulación a la vez y admite aprendizaje tanto visual como basado en estados en una amplia gama de robots y tareas. Ofrece un protocolo de evaluación estandarizado para comparar algoritmos de manipulación.

ManiSkill es un benchmark de simulación robótica de alto rendimiento que aprovecha la paralelización en GPU para acelerar drásticamente la investigación en aprendizaje robótico. Construido sobre el motor de física SAPIEN con aceleración por GPU, el framework permite ejecutar simultáneamente miles de entornos de simulación en paralelo, reduciendo el tiempo de entrenamiento de los algoritmos de aprendizaje por refuerzo de horas a minutos. El benchmark incluye una amplia variedad de encarnaciones robóticas y tareas de manipulación que abarcan distintos niveles de dificultad y escenarios de manipulación, con soporte tanto para observación visual como para aprendizaje basado en estados privilegiados. La enorme variedad de tareas permite una evaluación exhaustiva de los algoritmos de manipulación con distintos tipos de objetos, especificaciones de objetivos e interacciones físicas. Al combinar rendimiento computacional con diversidad de tareas, ManiSkill permite iterar rápidamente sobre algoritmos de aprendizaje robótico y, al mismo tiempo, ofrece benchmarks exigentes que ponen a prueba la capacidad de generalización.

Por qué importa

ManiSkill amplía los límites de los benchmarks de manipulación paralelizados en GPU. Con tareas que abarcan 12 dominios distintos y una amplia variedad de encarnaciones robóticas, permite el tipo de evaluación a gran escala que revela si un algoritmo de manipulación generaliza de verdad.

Qué problema resuelve

La mayoría de los benchmarks de manipulación tienen menos de 50 tareas, lo que dificulta evaluar la generalización. ManiSkill ofrece una amplia gama de tareas paralelizadas en GPU para poner a prueba si las políticas aprendidas pueden manejar objetos, poses y escenarios nuevos.

Puntos clave

• Tareas que abarcan 12 dominios distintos con simulación paralelizada en GPU
• Compatible de serie con una amplia variedad de encarnaciones robóticas
• Modos de observación basados tanto en el estado como en la visión
• Construido sobre el motor SAPIEN con física de contacto realista
• Protocolo de evaluación estandarizado para comparar algoritmos de forma justa

Para quién es

• Investigadores que evalúan algoritmos de manipulación generalizables
• Equipos que hacen benchmarking del aprendizaje de políticas basado en visión
• Desarrolladores que construyen controladores robóticos multitarea
• Estudiantes que aprenden aprendizaje por refuerzo para manipulación

Limitaciones

• Requiere una GPU NVIDIA para el modo completo paralelizado en GPU
• El motor SAPIEN se usa menos que MuJoCo, lo que reduce la compatibilidad con el ecosistema
• La dificultad de las tareas varía considerablemente en el conjunto de benchmarks
• La documentación puede quedar rezagada respecto a funciones que evolucionan rápidamente