Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Isaac Lab-Arena

NVIDIA 的开源框架:在 Isaac Lab 仿真中编写机器人基准测试,并在数千个并行环境中大规模评估策略

许可证

Apache 2.0(运行在含有专有部分的 Isaac Sim 上)

代码:Apache-2.0,依据 LICENSE.md。GitHub 不显示许可证,因为该文件以 Markdown 标题开头。所需运行环境:Isaac Sim,其中包含采用 NVIDIA 专有 Omniverse 许可证的组件,运行 Arena 前必须接受其 EULA。与 Arena 一起使用的模型和基准测试,例如 GR00T、π0.5 或第三方任务集,各自保留自己的许可证。已于 2026-11-06 对照 LICENSE.md 和 README 核实。

概述

Isaac Lab-Arena 是 NVIDIA 的开源框架,用于在仿真中构建机器人基准测试,并在其中大规模评估策略。它扩展了 Isaac Lab:一个环境由场景、机器人本体(embodiment)和任务组合而成,因此同一个任务无需新代码就能用于其他机器人、物体和场景。一个策略可以在一块 GPU 上的数千个并行环境中运行,也可以分布到多台机器上,结果会显示策略在任务的哪一步失败、对哪些条件敏感。它目前是 alpha 阶段的软件,当前发布线为 0.3.1,RoboDojo、RoboTwin 2.0 以及 Lightwheel 的 RoboCasa 和 LIBERO 任务集等已发布的基准测试已经运行在它之上。

Isaac Lab-Arena 是 NVIDIA 用于构建仿真基准测试并在其中评估机器人策略的框架,作为 Isaac Lab 的扩展编写,运行在 Isaac Sim 之上。它不需要为机器人、物体和场景的每种组合单独写一份配置,而是用三个相互独立的部分组合出一个环境:带有物体和家具的场景,本体(机器人及其传感器、观测和动作),以及任务(机器人要做什么、如何判定成功)。Arena 把它们组装成标准的 Isaac Lab 环境,所以把一个任务从 Franka 机械臂换到人形机器人上,或从厨房换到打包台,只需替换一个组件。物体通过“在……上”“在……旁边”这样的关系来摆放,而不是写坐标;简短的技能可以串成长任务;变体系统能把一个环境变成对光照、背景、相机参数和物体质量的扫描,这是一种受控的域随机化。一个实验性的智能体能把用日常语言写的任务描述变成可编辑的环境规格,并使用 SimReady 资产来构建。

评估时,一个策略在一块 GPU 上的数千个环境中运行,这些环境可以包含不同的物体。组合了多个任务和策略的实验可以在本地运行,也可以用 OSMO 分布到多个节点。策略运行在服务器后面,通过统一的观测与动作接口和 Arena 通信:代码库中已有 GR00T、OpenPI 的 π0.5 和 DreamZero 的集成,其他模型也可以用同样的方式接入。结果以汇总指标和逐回合指标返回。子任务谓词会记录每次执行进行到了哪一步(抓取、抬起、搬运、放置),敏感性分析则显示策略在哪些条件下失效。对于可变形物体和接触密集的任务(例如齿轮装配),可以用 Newton 取代 PhysX 作为物理后端。

在 NVIDIA 的发布文章中,用 10 个 RoboCasa 任务、每个任务 4096 个环境变体评估 GR00T N1.5,在 8 块 GPU 上并行运行耗时 0.76 小时,而在同一框架中逐个顺序运行需要 34.9 小时,约快 40 倍。文档中的一项初步测试在一块 RTX 5880 Ada GPU 上以 1024 个并行环境、不开相机的条件下,测得每秒 2390 个环境步。

基准测试保存在各自作者的代码库中,运行在 Arena 上。README 列出了 Lightwheel 改编自 RoboCasa 和 LIBERO 的任务集、RoboTwin 2.0、Isaac for Healthcare 的 RHEO 工作流、VABAR、DexBench 和 RoboDojo。NVIDIA 宣布 RoboDojo 已登陆 Arena,带来精密插装、折叠和使用工具等双臂任务;RoboDojo 的 Arena 分支在 ARX 的 X5 双臂机器人上运行 54 个任务。Arena 自带一个 Kitchen Benchmark,包含 31 个 DROID 操作任务,还有参照 RoboLab 设计的任务,都列在它的示例环境中。Arena 环境还可以分享到 LeRobot 的 Environment Hub,并用 LeRobot 自带的评估命令来评估,Hugging Face 的文章用 SmolVLA 演示了这一点。

为何重要

像视觉-语言-动作模型这样的通用策略,要看它们在大量任务、机器人和条件下的表现,而在真实硬件上测试这些既慢又贵,还难以重复。仿真是低成本的第一道检查,但基准测试通常各自带着自己的环境、脚本和运行器,所以要在其中几个上测试同一个策略,就得搭几套彼此独立的环境。Arena 把它们放到同一个核心上:基准测试作者复用同样的场景、机器人和指标,策略团队则可以通过一个客户端运行所有基准测试。它的谓词和敏感性工具还能回答单一成功率掩盖的问题:策略在哪一步失败、在什么条件下失败。我们的目录中还有其他评估工具,SimplerEnv 和 Inspect Robots。Arena 是专为编写新基准测试并以 GPU 规模运行而打造的那一个,也是 RoboDojo、RoboTwin 和 Lightwheel 所依托、LeRobot 的 Environment Hub 所支持的基础。

解决的问题

要认真评估一个通用机器人策略,就要让它在大量任务、机器人、物体和条件下运行。在仿真中,这通常意味着为每一种组合手写环境和运行器,并且逐个顺序执行。Arena 用可复用的组件、GPU 上的并行评估和共享指标取而代之:基准测试只需编写一次,通过配置产生变化并大规模运行,不同的基准测试也可以通过同一个策略接口运行。

要点

  • 环境由彼此独立的场景、本体和任务模块组合而成,并生成标准的 Isaac Lab 环境
  • 在一块 GPU 上的数千个并行环境中运行一个策略,或借助 OSMO 分布到多台机器
  • 策略运行在服务器后面,使用统一接口,并自带 GR00T、π0.5 和 DreamZero 的集成
  • 子任务进度和敏感性分析能显示策略在哪里失败、在什么条件下失败
  • 基于它构建的已发布基准测试包括 RoboDojo、RoboTwin 2.0 以及 Lightwheel 的 RoboCasa 和 LIBERO 任务集
  • alpha 阶段软件:API 在版本之间会变化,NVIDIA 表示不要用于生产环境

适用人群

  • 训练视觉-语言-动作模型或其他通用策略、需要在大量任务上进行可重复评估的团队
  • 希望发布可供他人直接运行的任务、而不必让对方重建场景、机器人和指标的基准测试作者
  • 希望在现有环境之上增加评估、受控变体和失败分析的 Isaac Lab 用户
  • 希望通过 Environment Hub 分享仿真环境的 LeRobot 用户

局限

  • alpha 阶段软件(版本 0.3):公开 API 会在没有弃用警告的情况下改变,NVIDIA 不建议用于生产环境
  • 仅支持 Linux(Ubuntu 22.04 或更高版本),并需要满足 Isaac Sim 硬件要求的 NVIDIA GPU
  • 运行在 Isaac Sim 上,而 Isaac Sim 包含采用 NVIDIA 专有许可条款的组件,因此整个软件栈并非完全开源
  • 绑定 NVIDIA 的软件栈:每个环境都是 Isaac Lab 环境,因此基于 Arena 构建的基准测试只能在那里运行
  • 版本以发布分支的形式提供,而不是打了标签的 GitHub release,每个版本都锁定特定的 Isaac Lab 和 Isaac Sim 版本
  • 智能体式环境生成被标为实验性功能,其智能体和设计可能会改变

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。