Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

RoboVerse

统一的元平台,将 11 个机器人模拟器封装在单一 API 之下。

许可证

Apache-2.0

概述

RoboVerse 是一个面向可扩展、可泛化机器人学习的统一平台、数据集和基准。它提供 MetaSim——一个与模拟器无关的抽象层,将 11 个模拟器后端(包括 MuJoCo、Isaac Lab、PyBullet、SAPIEN、Genesis、CoppeliaSim)封装在单一 API 之后。它包含预配置的机器人、276 个任务类别、5,500+ 个物体资产,以及来自 18 个现有基准(RLBench、ManiSkill、LIBERO、Meta-World、robosuite)的 510,000+ 条轨迹。它集成了模仿学习(ACT、Diffusion Policy、VLA)和强化学习(PPO、TD3、SAC)两类训练流程。

RoboVerse 是一个全面的开源框架,旨在统一跨模拟平台、数据集和基准测试的机器人学习。该项目由来自加州大学伯克利分校、北京大学、南加州大学、斯坦福大学、卡内基梅隆大学等顶尖机构的 37 位以上研究人员开发,高级领导包括 Pieter Abbeel 和 Jitendra Malik。RoboVerse 解决了机器人模拟中的根本碎片化问题。其核心是 MetaSim,一个三层基础架构,通过模拟器无关的配置系统(MetaConfig)和标准化 API,将多样化的模拟环境抽象为通用接口。MetaSim 支持 11 个模拟器后端,包括 Isaac Lab、Isaac Gym、MuJoCo、SAPIEN、PyBullet、Genesis、cuRobo、PyRep/CoppeliaSim 和 Blender。该框架组织为三大支柱:MetaSim(核心模拟抽象层)、RoboVerse Pack(预配置的机器人、任务和场景资产,包含 5,500 多个资产和 276 个任务类别)、以及 RoboVerse Learn(集成的模仿学习和强化学习算法)。RoboVerse 支持跨模拟器验证、跨具身迁移和混合模拟,同时提供超过 51 万条操作轨迹和 5000 万以上的高质量状态转换用于训练。已被 RSS 2025 接收,采用 Apache 2.0 许可证。

为何重要

RoboVerse 解决了机器人学习研究中最大的瓶颈:模拟器、数据集和评估协议之间的碎片化。在 RoboVerse 出现之前,研究人员在 MuJoCo 和 Isaac Sim 等模拟器之间切换时必须从头重写代码,几乎无法实现可复现性。没有其他项目能提供真正与模拟器无关的抽象层,让你在一个模拟器中训练策略,并在其他模拟器中无缝验证。通过在单一 API 下统一 11 个模拟器后端、18 个基准数据集和标准化评估协议,RoboVerse 首次使跨不同仿真后端和机器人本体对机器人学习算法进行同等条件下的比较成为可能。

解决的问题

机器人模拟领域高度碎片化:每个模拟器(MuJoCo、Isaac Sim、SAPIEN、PyBullet 等)都有自己的 API、配置格式和数据约定。研究人员在切换模拟器时必须重写整个代码库,使得跨平台验证不切实际,可复现性几乎不可能。基准数据集同样各自为政,格式互不兼容。RoboVerse 通过提供通用抽象层来解决这一问题,该层标准化了与所有主要模拟器的接口,统一了数据集格式,并建立了一致的基准——使研究人员能够编写一次代码,随处运行,与原生模拟器性能相比计算开销不到 5%。

要点

  • 在单一 API 下统一 11 个仿真后端(Isaac Lab、MuJoCo、SAPIEN、PyBullet、Genesis 等),相较原生性能的开销低于 5%
  • 为机器人学习提供 276 个任务类别、5,500+ 个资产、510,000+ 条操作轨迹以及超过 5,000 万次状态转移
  • 以统一格式整合 18 个成熟的基准数据集(RLBench、ManiSkill、LIBERO、Meta-World、robosuite、GraspNet)
  • 支持跨模拟器验证、跨具身迁移,以及组合不同物理引擎的混合仿真
  • 包含 RoboVerse Learn,内置模仿学习(ACT、Diffusion Policy、VLA)和强化学习(PPO、TD3、SAC)算法
  • 通过 MetaSimInterface 添加新的模拟器后端只需实现约 300 行代码

适用人群

  • 从事模仿学习、强化学习和仿真到现实迁移的机器人研究人员
  • 构建机器人基础模型、需要大规模多样化训练数据的机器学习工程师
  • 需要可复现基准来跨模拟器比较算法的学术实验室
  • 希望减少模拟设置时间和数据收集成本的机器人初创公司
  • 在多个平台上学习机器人操作和策略训练的学生和教育工作者

局限

  • 需要支持 CUDA 的 NVIDIA GPU;建议使用 RTX 3090 或更高配置以获得完整功能
  • Isaac Sim 后端需要特定的 NVIDIA 驱动程序(525+)和具有 8GB 以上 VRAM 的 RT Core GPU
  • 尚不支持 Windows——目前仅限于 Ubuntu 20.04+ 和 macOS 12+
  • 存储需求较大(完整数据集和模拟器安装需要 100GB 以上)
  • 跨模拟器物理一致性取决于各个模拟器的实现,可能产生细微不同的行为
  • 仍处于 alpha 版本(v1.0.0-alpha)——API 可能会发生变化

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。