RoboVerse
Meta-plataforma unificada que encapsula 11 simuladores de robótica sob uma única API.
Licença
Apache-2.0
Visão geral
RoboVerse é uma plataforma, um conjunto de dados e um benchmark unificados para aprendizado robótico escalável e generalizável. Oferece o MetaSim — uma camada de abstração independente de simulador que encapsula 11 backends de simulação (incluindo MuJoCo, Isaac Lab, PyBullet, SAPIEN, Genesis, CoppeliaSim) por trás de uma única API. Inclui robôs pré-configurados, 276 categorias de tarefas, 5.500+ assets de objetos e 510.000+ trajetórias de 18 benchmarks existentes (RLBench, ManiSkill, LIBERO, Meta-World, robosuite). Integra pipelines de treinamento tanto para aprendizado por imitação (ACT, Diffusion Policy, VLA) quanto para aprendizado por reforço (PPO, TD3, SAC).
RoboVerse é um framework abrangente de código aberto que unifica o aprendizado robótico entre plataformas de simulação, conjuntos de dados e benchmarks. Desenvolvido por uma equipe de mais de 37 pesquisadores da UC Berkeley, Universidade de Pequim, USC, Stanford, CMU e outras instituições líderes — com liderança sênior de Pieter Abbeel e Jitendra Malik — o RoboVerse aborda o problema fundamental de fragmentação na simulação robótica. Em seu núcleo está o MetaSim, uma infraestrutura de três camadas que abstrai diversos ambientes de simulação em uma interface universal por meio de um sistema de configuração agnóstico ao simulador (MetaConfig) e uma API padronizada. O MetaSim suporta 11 backends de simulação, incluindo Isaac Lab, Isaac Gym, MuJoCo, SAPIEN, PyBullet, Genesis, cuRobo, PyRep/CoppeliaSim e Blender. O framework é organizado em três pilares: MetaSim (a camada central de abstração de simulação), RoboVerse Pack (robôs, tarefas e ativos de cena pré-configurados com mais de 5.500 ativos e 276 categorias de tarefas) e RoboVerse Learn (algoritmos de aprendizado integrados para aprendizado por imitação e por reforço). O RoboVerse permite validação entre simuladores, transferência entre embodiments e simulação híbrida, fornecendo mais de 510.000 trajetórias de manipulação e mais de 50 milhões de transições de estado de alta qualidade para treinamento. Aceito no RSS 2025 e licenciado sob Apache 2.0.
Por que importa
O RoboVerse ataca o maior gargalo da pesquisa em aprendizado robótico: a fragmentação entre simuladores, conjuntos de dados e protocolos de avaliação. Antes do RoboVerse, os pesquisadores precisavam reescrever seu código do zero ao alternar entre simuladores como MuJoCo e Isaac Sim, o que tornava a reprodutibilidade quase impossível. Nenhum outro projeto oferece uma camada de abstração realmente independente de simulador, que permita treinar uma política em um simulador e validá-la sem atrito nos demais. Ao unificar 11 backends de simulação, 18 conjuntos de dados de benchmark e protocolos de avaliação padronizados sob uma única API, o RoboVerse torna possível, pela primeira vez, comparar algoritmos de aprendizado robótico em igualdade de condições entre diferentes backends de simulação e corpos robóticos.
Problema que resolve
A simulação robótica é profundamente fragmentada: cada simulador (MuJoCo, Isaac Sim, SAPIEN, PyBullet, etc.) tem sua própria API, formato de configuração e convenções de dados. Pesquisadores precisam reescrever bases de código inteiras ao trocar de simulador, tornando a validação multiplataforma impraticável e a reprodutibilidade praticamente impossível. Os conjuntos de dados de referência também estão isolados com formatos incompatíveis. O RoboVerse resolve isso fornecendo uma camada de abstração universal que padroniza a interface com todos os principais simuladores, unifica formatos de dados e estabelece benchmarks consistentes — permitindo que pesquisadores escrevam código uma vez e o executem em qualquer lugar, com menos de 5% de overhead computacional em comparação com o desempenho nativo do simulador.
Pontos principais
- Unifica 11 backends de simulação (Isaac Lab, MuJoCo, SAPIEN, PyBullet, Genesis e outros) sob uma única API, com menos de 5% de overhead em relação ao desempenho nativo
- Fornece 276 categorias de tarefas, 5.500+ assets, 510.000+ trajetórias de manipulação e mais de 50 milhões de transições de estado para aprendizado robótico
- Integra 18 conjuntos de dados de benchmark consolidados (RLBench, ManiSkill, LIBERO, Meta-World, robosuite, GraspNet) com formatação unificada
- Suporta validação entre simuladores, transferência entre diferentes corpos robóticos (cross-embodiment) e simulação híbrida combinando diferentes motores de física
- Inclui o RoboVerse Learn, com algoritmos integrados de aprendizado por imitação (ACT, Diffusion Policy, VLA) e aprendizado por reforço (PPO, TD3, SAC)
- Adicionar um novo backend de simulação exige implementar apenas cerca de 300 linhas de código por meio da MetaSimInterface
Para quem é
- Pesquisadores em robótica trabalhando com aprendizado por imitação, aprendizado por reforço e transferência de simulação para realidade
- Engenheiros de aprendizado de máquina construindo modelos de fundação robóticos que precisam de dados de treinamento diversificados em larga escala
- Laboratórios acadêmicos que necessitam de benchmarks reprodutíveis para comparar algoritmos entre simuladores
- Startups de robótica buscando reduzir o tempo de configuração de simulação e custos de coleta de dados
- Estudantes e educadores aprendendo manipulação robótica e treinamento de políticas em múltiplas plataformas
Limitações
- Requer GPU NVIDIA com suporte CUDA; RTX 3090 ou superior recomendado para funcionalidade completa
- O backend Isaac Sim requer drivers NVIDIA específicos (525+) e GPUs RT Core com 8 GB+ de VRAM
- Suporte ao Windows ainda não disponível — atualmente limitado ao Ubuntu 20.04+ e macOS 12+
- Grandes requisitos de armazenamento (100 GB+ para o conjunto de dados completo e instalações de simuladores)
- A consistência física entre simuladores depende das implementações individuais de cada simulador, que podem produzir comportamentos sutilmente diferentes
- Ainda em versão alpha (v1.0.0-alpha) — a API pode mudar