Isaac Lab-Arena
NVIDIA 的開放框架,用於撰寫機器人基準測試並大規模測試策略
授權條款
Apache 2.0(執行於含有專有元件的 Isaac Sim 之上)
程式碼:Apache-2.0,依據 LICENSE.md。GitHub 未顯示授權,因為該檔案以 Markdown 標題開頭。必要的執行環境:Isaac Sim,其中包含採用 NVIDIA 專有 Omniverse 授權的元件,必須接受其 EULA 才能執行 Arena。與 Arena 搭配使用的模型與基準測試,例如 GR00T、π0.5 或第三方任務套件,保留其各自的授權。查核日期:2026-11-06,依據 LICENSE.md 與 README。
概述
Isaac Lab-Arena 是 NVIDIA 推出的開源框架,用於在模擬環境中建構機器人基準測試,並在其中大規模評估策略。它擴充了 Isaac Lab:一個環境由場景、機器人形態與任務組合而成,因此同一個任務不必撰寫新程式碼,就能在不同的機器人、物體與設定之間重複使用。一個策略可以在一張 GPU 上的數千個平行環境中執行,或分散到多台機器上,而結果會顯示策略在任務的哪一步失敗,以及它對哪些條件敏感。它是 alpha 版軟體,目前的發行線為 0.3.1,而 RoboDojo、RoboTwin 2.0,以及 Lightwheel 的 RoboCasa 與 LIBERO 任務套件等已發表的基準測試,都已經在它上面執行。
Isaac Lab-Arena 是 NVIDIA 用於建構模擬基準測試並在其中評估機器人策略的框架,以 Isaac Lab 擴充套件的形式寫成,執行於 Isaac Sim 之上。它不需要為每一種機器人、物體與設定的組合撰寫個別的設定,而是由三個獨立的部分組成環境:場景(包含其中的物體與家具)、機器人形態(機器人及其感測器、觀測與動作),以及任務(機器人必須做什麼、如何判定成功)。Arena 把它們組裝成標準的 Isaac Lab 環境,因此要把任務從 Franka 手臂移到人形機器人上,或從廚房移到包裝桌,只需更換一個組件。物體以「在上面」、「在旁邊」等關係來擺放,而不是用座標;短技能可以串成長任務;變化系統則能把一個環境變成對光線、背景、攝影機參數與物體質量的掃描,這是一種受控形式的領域隨機化。一個實驗性的代理能把以一般語言描述的任務,轉成由 SimReady 資產建構、可編輯的環境規格。
評估時,一個策略會在一張 GPU 上的數千個環境中執行,而這些環境可以包含不同的物體。結合多個任務與策略的實驗,可以在本機執行,或透過 OSMO 跨節點執行。策略置於伺服器之後,透過一個統一的觀測與動作介面與 Arena 溝通:儲存庫內建 GR00T、OpenPI 的 π0.5 與 DreamZero 的整合,其他模型也能以相同方式接入。結果會以彙總指標與逐回合指標回傳。子任務述詞會記錄每次執行進行到哪一步(抓取、舉起、搬運、放置),敏感度分析則顯示策略在哪些條件下會失效。對於可變形物體與大量接觸的任務(例如齒輪插入),可以用 Newton 取代 PhysX 作為物理後端。
在 NVIDIA 的發布文章中,以 10 個 RoboCasa 任務、每個任務 4,096 種環境變化評估 GR00T N1.5,在 8 張 GPU 上平行執行花了 0.76 小時,而在同一個框架上依序執行則需要 34.9 小時,快了約 40 倍。文件中的一項初步測試,在一張 RTX 5880 Ada GPU 上以 1,024 個平行環境、不使用攝影機,量得每秒 2,390 個環境步。
基準測試放在其作者自己的儲存庫中,並在 Arena 上執行。README 列出了 Lightwheel 改編自 RoboCasa 與 LIBERO 的任務套件、RoboTwin 2.0、Isaac for Healthcare 的 RHEO 工作流程、VABAR、DexBench 與 RoboDojo。NVIDIA 宣布 RoboDojo 登上 Arena,其中包含精密插入、摺疊與工具使用等雙臂任務;RoboDojo 的 Arena 分支在 ARX 的 X5 雙臂機器人上執行 54 個任務。Arena 本身內建一個由 31 個 DROID 操作任務組成的 Kitchen Benchmark,以及仿照 RoboLab 的任務,列於其範例環境中。Arena 環境也可以分享到 LeRobot Environment Hub,並用 LeRobot 自己的評估指令評估,Hugging Face 的文章就以 SmolVLA 示範了這一點。
為何重要
視覺語言動作模型等通用策略,是以它們在許多任務、機器人與條件下的穩定程度來評判的,而在真實硬體上測試這些既緩慢、昂貴又難以重複。模擬是低成本的第一道檢查,但基準測試通常各自附帶自己的環境、腳本與執行器,因此要在其中幾個上測試一個策略,就意味著好幾套各自獨立的設定。Arena 把它們放在同一個核心上:基準測試作者重複使用相同的場景、機器人與指標,而策略團隊可以透過一個用戶端執行全部的基準測試。它的述詞與敏感度工具,也回答了單一成功率所掩蓋的問題:策略在哪一步失敗、在哪些條件下失敗。我們的目錄中還有其他評估工具,例如 SimplerEnv 與 Inspect Robots。Arena 則是專為撰寫新基準測試、並以 GPU 規模執行它們而打造的工具,也是 RoboDojo、RoboTwin 與 Lightwheel 所依循的基礎,並受到 LeRobot Environment Hub 的支援。
解決的問題
要妥善評估一個通用機器人策略,就得在許多任務、機器人、物體與條件下執行它。在模擬中,這通常意味著為每一種組合手寫一個環境與執行器,並逐一依序執行。Arena 以可重複使用的組件、GPU 上的平行評估與共用的指標取代這種做法,讓基準測試只需撰寫一次,透過設定產生變化並大規模執行,而不同的基準測試也能透過同一個策略介面執行。
重點
- 環境由獨立的場景、機器人形態與任務組件組成,並建構為標準的 Isaac Lab 環境
- 在一張 GPU 上的數千個平行環境中執行一個策略,或透過 OSMO 跨機器執行
- 策略透過統一介面在伺服器後方執行,並內建 GR00T、π0.5 與 DreamZero 的整合
- 子任務進度與敏感度分析,顯示策略在哪裡失敗、在哪些條件下失敗
- 建立在它之上的已發表基準測試,包括 RoboDojo、RoboTwin 2.0,以及 Lightwheel 的 RoboCasa 與 LIBERO 任務套件
- alpha 版軟體:API 會在版本之間變動,NVIDIA 表示不要用於正式環境
適用對象
- 訓練視覺語言動作(VLA)模型或其他通用策略、需要在許多任務上進行可重複評估的團隊
- 想發布他人無需重建場景、機器人與指標就能執行之任務的基準測試作者
- 想在自己的環境之上加入評估、受控變化與失敗分析的 Isaac Lab 使用者
- 想透過 Environment Hub 分享模擬環境的 LeRobot 使用者
限制
- alpha 版軟體(版本 0.3):公開 API 會在沒有棄用警告的情況下變動,NVIDIA 也建議不要用於正式環境
- 僅支援 Linux(Ubuntu 22.04 或更新版本),並需要符合 Isaac Sim 硬體需求的 NVIDIA GPU
- 執行於 Isaac Sim 之上,而 Isaac Sim 包含採用 NVIDIA 專有授權條款的元件,因此整個堆疊並非全部開源
- 綁定 NVIDIA 的堆疊:每個環境都是 Isaac Lab 環境,因此建立在 Arena 上的基準測試只能在那裡執行
- 版本以發行分支而非 GitHub 標記版本的形式提供,且每個版本都固定特定的 Isaac Lab 與 Isaac Sim 版本
- 代理式環境產生功能標示為實驗性,其代理與設計可能會變動