Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

NVIDIA Cosmos 3

Modèles du monde ouverts de NVIDIA : raisonnement, vidéo et actions de robot

Licence

OpenMDW 1.1

Code et poids : OpenMDW-1.1, lu dans les fichiers LICENSE de NVIDIA/cosmos et NVIDIA/cosmos-framework et dans chaque fiche de modèle citée ici ; GitHub affiche NOASSERTION uniquement parce qu'il ne reconnaît pas cette licence. Elle autorise l'utilisation, la modification et la redistribution, y compris commerciales, si le texte de la licence et les mentions sont conservés, ne limite pas les sorties et prend fin pour quiconque intente une action en justice en affirmant que le modèle enfreint un brevet ou un droit d'auteur. Les fiches des modèles indiquent qu'ils sont prêts pour un usage commercial et non commercial. Guardrail : le démarrage rapide de génération vidéo nécessite nvidia/Cosmos-1.0-Guardrail, à accès restreint sur Hugging Face et sous la NVIDIA Open Model License. Dataset : NVIDIA publie sa conversion Cosmos3-DROID sous OpenMDW-1.1 ; les données DROID d'origine viennent de leurs propres auteurs, vérifiez donc aussi leurs conditions. LeRobot : le code LeRobot de ces politiques est sous Apache-2.0. Vérifié le 2026-11-11 à partir des fichiers LICENSE, des fiches de modèles et de datasets sur Hugging Face et d'openmdw.ai.

Aperçu

NVIDIA Cosmos 3 est la famille actuelle de modèles du monde ouverts de NVIDIA pour l'IA physique, publiée le 31 mai 2026. Un seul modèle lit et écrit du texte, des images, de la vidéo, du son et des actions de robot : les mêmes poids peuvent décrire une scène, générer la vidéo de la suite, simuler l'effet d'une action, retrouver l'action à l'origine d'un changement et servir de politique de robot. Les versions précédentes de Cosmos répartissaient ces tâches entre des modèles distincts comme Cosmos Predict, Cosmos Transfer et Cosmos Reason. Il existe trois tailles de base : Cosmos3-Edge avec 4B paramètres pour Jetson et d'autres appareils embarqués, Cosmos3-Nano avec 16B pour un seul gros GPU et Cosmos3-Super avec 64B pour les GPU de centre de données. NVIDIA publie aussi des checkpoints d'exemple post-entraînés pour des politiques de robot, la simulation de conduite et de robots et la génération rapide d'images et de vidéos, le Cosmos Framework pour l'entraînement et le service, et un cookbook de recettes. Le code et les poids sont sous OpenMDW-1.1, qui autorise l'usage commercial ; LeRobot 0.7 a ajouté Nano et Edge comme politiques de robot en novembre 2026.

NVIDIA a publié Cosmos 3 le 31 mai 2026, avec les poids dans une collection Hugging Face, le code sur GitHub et un rapport technique (arXiv 2606.02800). Le dépôt NVIDIA/cosmos est la maison de la famille : il liste chaque modèle, renvoie aux recettes et présente Cosmos 3 comme la famille de modèles actuelle.

Cosmos 3 est un modèle du monde : il apprend comment les scènes évoluent dans le temps, et peut donc prédire et générer ce qui se passe ensuite. NVIDIA le dit omnimodal parce qu'un seul modèle reçoit et produit texte, images, vidéo, audio et actions, et le construit comme un Mixture-of-Transformers. Concrètement, chaque couche possède deux jeux de poids qui partagent une même étape d'attention. Le reasoner lit du texte et des images et écrit du texte token par token, comme un modèle vision-langage. Le générateur produit images, vidéo, son et actions en retirant le bruit pas à pas, comme un modèle de diffusion vidéo. Comme les deux se trouvent dans un même réseau, le modèle peut planifier en mots puis générer la vidéo ou l'action correspondante.

Trois modèles de base sont ouverts :

- Cosmos3-Edge, 4B paramètres, publié le 20 juillet 2026 pour Jetson AGX Orin, Jetson Thor et RTX Pro 6000 ; il génère de la vidéo en 256p et 480p, raisonne sur des scènes et produit des actions, mais n'a ni le mode son ni le mode transfert. - Cosmos3-Nano, 16B paramètres, pour une RTX Pro 6000, une H100 ou une B200 ; NVIDIA le présente comme le modèle de base à post-entraîner. - Cosmos3-Super, 64B paramètres, pour les systèmes H200, B200 et GB200, destiné à la meilleure qualité, aux données synthétiques et au rôle de professeur pour la distillation.

Ensemble, ils couvrent le texte vers image, le texte vers vidéo et l'image vers vidéo avec son en option, le transfert vidéo à partir de cartes de contours, de flou, de profondeur ou de segmentation, la prédiction des secondes suivantes d'une vidéo, les questions-réponses visuelles et le grounding, la dynamique directe (la vidéo qui suit une action), la dynamique inverse (l'action derrière une vidéo) et la politique de robot. Côté actions, il prend en charge les mouvements de caméra, les voitures, les poses de main égocentriques, les robots à un et deux bras et l'humanoïde d'AgiBot.

La collection cosmos3-examples rassemble des checkpoints post-entraînés. Cosmos3-Nano-Policy-DROID et Cosmos3-Edge-Policy-DROID sont des politiques de robot pour le bras Franka du montage DROID, entraînées sur Cosmos3-DROID, la conversion de DROID par NVIDIA au format de dataset LeRobot. Depuis octobre 2026, quatre checkpoints de simulation font de Nano un simulateur interactif qui génère de la vidéo de conduite multicaméra avec LiDAR, la vue d'un robot à deux bras pendant qu'il agit, ou une vidéo photoréaliste à partir de la sortie de profondeur ou de segmentation d'un simulateur. Super dispose de modèles élèves en 4 étapes pour le texte vers image et l'image vers vidéo, et Nano et Super existent en versions FP8.

Le Cosmos Framework entraîne et sert les modèles : fine-tuning supervisé, LoRA, distillation et apprentissage par renforcement, avec l'inférence via Diffusers, Transformers, vLLM, vLLM-Omni et SGLang ; NVIDIA cite aussi TensorRT-LLM et NIM. Le cookbook Cosmos classe ses recettes par objectif et par budget GPU. Depuis LeRobot 0.7, sorti le 5 novembre 2026, Nano et Edge sont des types de politique LeRobot : le guide LeRobot explique comment la politique prédit ensemble les prochaines images vidéo et le prochain bloc d'actions, et donne des recettes de fine-tuning pour LIBERO, DROID et de nouveaux robots.

Les modèles de conduite Alpamayo 2 de NVIDIA reposent sur des backbones Cosmos 3.

Pourquoi c'est important

Cosmos 3 est la plus récente génération des modèles NVIDIA Cosmos que nous référençons déjà avec Cosmos Predict 2.5, un modèle du monde vidéo, et Cosmos Policy, qui post-entraîne un modèle vidéo Cosmos pour en faire une politique de robot. Là où ceux-ci demandaient des modèles distincts pour la prédiction, le transfert, le raisonnement et la politique, NVIDIA décrit Cosmos 3 comme un seul modèle qui les remplace : une équipe peut raisonner, simuler et agir avec les mêmes poids et post-entraîner une base au lieu de plusieurs. C'est aussi l'un des rares modèles de fondation ouverts à être à la fois générateur vidéo et politique de robot : comme NVIDIA Isaac GR00T, il peut être affiné en contrôleur de type VLA, mais il prédit la vidéo future en même temps que les actions. Avec Cosmos3-Edge à 4B et l'intégration LeRobot, une politique peut être affinée sur un seul GPU et NVIDIA indique qu'elle tourne sur Jetson Thor, ce qui met une politique fondée sur un modèle du monde à la portée des laboratoires de recherche et pas seulement des centres de données.

Le problème résolu

Les équipes qui construisent des robots et des véhicules ont besoin de modèles qui comprennent les scènes, génèrent des données d'entraînement et de test, simulent l'effet d'une action et pilotent la machine, et jusqu'ici cela voulait dire des modèles distincts avec un code d'entraînement distinct. Entraîner de tels modèles à partir de zéro demande des données vidéo et une puissance de calcul que peu de groupes possèdent. Cosmos 3 publie une famille de modèles ouverte qui fait tout cela, en trois tailles des appareils embarqués aux GPU de centre de données, avec le code et les recettes pour la post-entraîner sur les données de robot, de véhicule ou de caméra de chaque équipe.

Points clés

  • Un modèle omnimodal lit et écrit texte, images, vidéo, son et actions de robot
  • Trois tailles de base ouvertes : Cosmos3-Edge 4B, Cosmos3-Nano 16B et Cosmos3-Super 64B
  • Réunit des tâches que les versions précédentes de Cosmos répartissaient entre les modèles Predict, Transfer et Reason
  • Les exemples post-entraînés couvrent des politiques de robot DROID, la simulation de conduite et de robots et la génération rapide
  • LeRobot 0.7 exécute Nano et Edge comme politiques de robot avec des recettes pour LIBERO et DROID
  • Code et poids sous OpenMDW-1.1, qui autorise l'usage commercial

Pour qui

  • Chercheurs en apprentissage robotique qui veulent post-entraîner une politique fondée sur un modèle du monde ou un simulateur
  • Équipes de conduite autonome et de robotique qui génèrent des données d'entraînement synthétiques ou multicaméras
  • Développeurs qui déploient du raisonnement visuel ou des politiques de robot sur Jetson et d'autres appareils embarqués
  • Utilisateurs de LeRobot qui veulent affiner un world action model sur les données de leur propre robot

Limites

  • De gros GPU sauf pour Edge : les recettes de post-entraînement de Nano sont prévues pour 8 GPU, la configuration recommandée par NVIDIA pour servir Super utilise 8 GPU de centre de données, et le fine-tuning complet de Nano dans LeRobot demande au moins 4 GPU de 80 GB
  • Sur Jetson, Edge est bien plus lent que sur un GPU de centre de données : NVIDIA mesure environ 6,3 s par pas de la politique DROID sur Jetson AGX Thor contre environ 1,4 s sur une H100
  • La génération vidéo du démarrage rapide nécessite le modèle à accès restreint Cosmos-1.0-Guardrail, placé sous la NVIDIA Open Model License et non sous OpenMDW-1.1
  • NVIDIA signale des artefacts dans les sorties longues, en haute résolution ou physiquement complexes, comme des objets qui changent de forme et des mouvements invraisemblables, et indique que les usages critiques pour la sécurité demandent davantage de validation
  • Les classements de benchmarks, les taux de réussite des politiques et les chiffres de vitesse sont des mesures propres à NVIDIA et à LeRobot
  • L'intégration LeRobot est récente, publiée avec LeRobot 0.7 le 5 novembre 2026
  • Seul le BF16 est testé sur les fiches des modèles ; les autres précisions, hors checkpoints FP8 publiés, ne sont pas officiellement prises en charge
  • Cosmos3-DROID est la conversion par NVIDIA du dataset DROID, collecté par 13 institutions et soumis en amont à ses propres conditions

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.