Isaac Lab

Framework d'apprentissage robotique de NVIDIA : une API de tâches pour Newton, PhysX et Isaac Sim

Licence

BSD-3-Clause

Aperçu

Framework d'apprentissage robotique open source de NVIDIA. Depuis Isaac Lab 3.0 (octobre 2026), une tâche s'écrit une seule fois et s'exécute sur plusieurs moteurs physiques (Newton avec MuJoCo-Warp, PhysX autonome ou Isaac Sim complet), le rendu et la visualisation étant choisis séparément, de sorte qu'Isaac Sim est facultatif. Comprend simulation accélérée par GPU, modélisation étendue de robots et capteurs, conception de tâches modulaire, et support pour les workflows d'apprentissage par renforcement, d'apprentissage par imitation et de planification de mouvement.

Isaac Lab est le framework d'apprentissage robotique unifié de NVIDIA. Jusqu'à la version 3.0, il fonctionnait uniquement sur le simulateur Isaac Sim ; depuis la 3.0 (octobre 2026), les assets, capteurs et environnements sont écrits pour une API indépendante du backend et peuvent s'exécuter sur Newton (avec les solveurs MuJoCo-Warp, VBD et MPM), PhysX autonome ou Isaac Sim complet, fournissant une infrastructure de simulation accélérée par GPU pour entraîner des algorithmes d'apprentissage robotique à grande échelle. Le framework offre des bibliothèques étendues de modèles de robots, de capteurs et d'environnements avec une simulation physique parallélisée sur GPU permettant des milliers d'instances d'environnement en parallèle pour un apprentissage par renforcement efficace. Isaac Lab prend en charge plusieurs paradigmes d'apprentissage, dont l'apprentissage par renforcement, l'apprentissage par imitation et la planification de mouvement, avec des outils de conception de tâches modulaires qui simplifient la création d'environnements d'entraînement personnalisés. L'accélération GPU permet un entraînement nettement plus rapide que les simulateurs basés sur CPU, réduisant le temps d'itération des expériences de plusieurs jours à quelques heures. L'intégration avec l'écosystème Isaac au sens large offre des passerelles fluides de l'entraînement en simulation au déploiement sur des robots réels.

Pourquoi c'est important

Isaac Lab est la réponse de NVIDIA à l'apprentissage robotique à grande échelle : il combine des environnements parallélisés sur GPU avec un choix de moteurs physiques et, via Isaac Sim, un rendu RTX photoréaliste. Il devient la plateforme de référence pour les équipes qui ont besoin à la fois de fidélité visuelle et d'un débit d'entraînement massif.

Le problème résolu

L'entraînement de politiques robotiques fondées sur la vision nécessite à la fois une simulation rapide et un rendu réaliste. La plupart des simulateurs n'offrent que l'un ou l'autre. Isaac Lab fournit les deux grâce à l'accélération GPU, ce qui permet un entraînement à grande échelle avec des observations en pixels.

Points clés

Simulation parallèle accélérée par GPU exécutant des milliers d'environnements simultanément
Depuis la 3.0, une seule API de tâches s'exécute sur Newton, PhysX autonome ou Isaac Sim complet, avec rendu RTX disponible
La conception modulaire des tâches prend en charge l'apprentissage par renforcement, l'apprentissage par imitation et l'apprentissage par transfert
Bibliothèque étendue de modèles de robots, de capteurs et d'environnements
Intégration étroite avec l'écosystème NVIDIA (CUDA, Warp, PhysX 5)

Pour qui

Chercheurs entraînant des politiques robotiques basées sur la vision
Équipes ayant besoin de générer des données synthétiques photoréalistes
Entreprises développant des pipelines de transfert de la simulation au réel
Laboratoires construisant des systèmes de manipulation et de locomotion avec entrée visuelle

Limites

Nécessite un GPU NVIDIA (série RTX recommandée) — pas de mode CPU seul
L'installation complète d'Isaac Sim est lourde (plus de 50 Go), mais depuis la 3.0 elle est facultative pour l'entraînement avec Newton ou PhysX autonome
Courbe d'apprentissage plus raide que les simulateurs plus légers
Certaines fonctionnalités sont propriétaires de NVIDIA malgré un framework open source