Isaac Lab

NVIDIA 機器人學習框架：一套任務 API 橫跨 Newton、PhysX 與 Isaac Sim

授權條款

BSD-3-Clause

概述

NVIDIA 的開源機器人學習框架。自 Isaac Lab 3.0（2026 年 10 月）起，任務只需撰寫一次，就能在多種物理引擎上執行（搭配 MuJoCo-Warp 的 Newton、獨立的 PhysX，或完整的 Isaac Sim），渲染與檢視則另外選擇，因此 Isaac Sim 成為選用項目。具備 GPU 加速模擬、廣泛的機器人與感測器建模、模組化任務設計，並支援強化學習、模仿學習與運動規劃工作流程。

Isaac Lab 是 NVIDIA 統一的機器人學習框架。在 3.0 版之前，它只能在 Isaac Sim 模擬器之上執行；自 3.0（2026 年 10 月）起，資產、感測器與環境都針對與後端無關的 API 撰寫，可以在 Newton（搭配 MuJoCo-Warp、VBD 與 MPM 求解器）、獨立的 PhysX 或完整的 Isaac Sim 上執行，為大規模訓練機器人學習演算法提供 GPU 加速的模擬基礎架構。框架提供大量的機器人模型、感測器與環境函式庫，並以 GPU 平行化的物理模擬同時執行數千個環境實例，實現有效率的強化學習。Isaac Lab 支援多種學習範式，包括強化學習、模仿學習與運動規劃，並提供模組化的任務設計工具，簡化客製訓練環境的建立。相較於以 CPU 為基礎的模擬器，GPU 加速能大幅加快訓練速度，將實驗迭代時間從數天縮短到數小時。與更廣泛的 Isaac 生態系整合，則提供了從模擬訓練到真實機器人部署的順暢途徑。

為何重要

Isaac Lab 是 NVIDIA 針對可擴展機器人學習提出的解答，結合 GPU 平行化的環境、可選擇的物理引擎，以及透過 Isaac Sim 提供的照片級寫實 RTX 渲染。對於同時需要視覺擬真度與大量訓練吞吐量的團隊而言，它正逐漸成為標準平台。

解決的問題

訓練以視覺為基礎的機器人策略，同時需要快速模擬與逼真的渲染，而大多數模擬器只能提供其中之一。Isaac Lab 透過 GPU 加速同時提供兩者，讓以像素觀測進行大規模訓練成為可能。

重點

• GPU 加速的平行模擬，可同時執行數千個環境
• 自 3.0 起，一套任務 API 可在 Newton、獨立的 PhysX 或完整的 Isaac Sim 上執行，並可使用 RTX 渲染
• 模組化任務設計，支援強化學習、模仿學習與遷移學習
• 大量的機器人模型、感測器與環境函式庫
• 與 NVIDIA 生態系（CUDA、Warp、PhysX 5）緊密整合

適用對象

• 訓練視覺型機器人策略的研究人員
• 需要產生擬真合成資料的團隊
• 開發模擬到現實遷移流程的公司
• 打造以視覺輸入進行操作與行走運動系統的實驗室

限制

• 需要 NVIDIA GPU（建議使用 RTX 系列），沒有純 CPU 模式
• 完整的 Isaac Sim 安裝相當龐大（50 GB 以上），不過自 3.0 起，以 Newton 或獨立 PhysX 進行訓練時已非必要
• 學習曲線比輕量模擬器陡峭
• 儘管框架是開源的，部分功能仍為 NVIDIA 專有