Qu'est-ce que NVIDIA Cosmos3-Nano ? Le modèle monde omni 16B pour l'IA physique

NVIDIA vient de publier Cosmos3-Nano sur Hugging Face, et ce n’est pas un modèle texte-vers-vidéo ordinaire. C’est un modèle du monde omnimodal de 16 milliards de paramètres conçu pour l’IA physique : la robotique, les véhicules autonomes, les espaces intelligents, les environnements industriels, la simulation et le raisonnement sur les actions.

En résumé : Cosmos3-Nano peut prendre en entrée des combinaisons de texte, d’image, de vidéo, d’audio et de trajectoires d’action, puis produire du texte, des images, de la vidéo, de l’audio ou des sorties d’action. Cela le rapproche davantage d’un modèle d’exploitation du monde physique que d’un simple générateur d’images ou de vidéos.

Vous pouvez consulter la fiche du modèle ici : nvidia/Cosmos3-Nano sur Hugging Face. NVIDIA a également publié l’annonce plus large de Cosmos 3 dans sa salle de presse ainsi qu’une présentation pratique pour les développeurs sur le Blog Technique NVIDIA.

Ce qu’est Cosmos3-Nano

Cosmos3-Nano est la version plus petite de la famille Cosmos 3 de NVIDIA. « Nano » ne signifie pas minuscule au sens habituel des modèles ouverts. La fiche du modèle l’indique à 16 milliards de paramètres entraînables, avec des poids en BF16 et une prise en charge via le framework Cosmos de NVIDIA, vLLM-Omni, vLLM, PyTorch et Hugging Face Diffusers.

Le modèle est publié sous la licence OpenMDW 1.1 et la fiche indique qu’il est prêt pour un usage commercial et non commercial. NVIDIA indique la date de publication au 31 mai 2026 sur Hugging Face et GitHub.

L’aspect important est le type de modèle. Cosmos3-Nano est un modèle du monde omni :

• Il peut raisonner sur des scènes physiques.
• Il peut générer des sorties vidéo et image.
• Il peut générer de l’audio ambiant muxé dans la vidéo.
• Il peut générer des trajectoires d’action ou s’y conditionner.
• Il peut prendre en charge la prédiction d’états futurs et les flux de travail de politiques incarnées.

Cela le place dans une catégorie différente de modèles comme Veo, Runway, Seedance ou Kling. Ces derniers sont principalement des modèles vidéo créatifs. Cosmos3-Nano est destiné aux développeurs qui ont besoin d’un modèle pour comprendre, simuler et agir dans des environnements physiques.

Pourquoi c’est important

La plupart des modèles vidéo génératifs répondent à une question créative :

À quoi devrait ressembler cette scène ?

Cosmos3-Nano tente de répondre à une question d’IA physique :

Que se passe-t-il dans cette scène, que pourrait-il se passer ensuite, et quelle action devrait suivre ?

Cette distinction est importante pour la robotique et les systèmes autonomes. Un robot d’entrepôt, un véhicule de livraison, une caméra d’usine ou un agent incarné n’a pas seulement besoin d’une jolie vidéo. Il a besoin d’un modèle interne utile du monde.

Par exemple :

• Un bras robotique doit comprendre comment les objets se déplacent lorsqu’ils sont saisis.
• Un véhicule autonome a besoin d’une prédiction d’état futur dans des conditions routières changeantes.
• Un système d’espace intelligent doit raisonner sur l’activité dans des images de caméra fixe.
• Un pipeline de simulation a besoin de données synthétiques qui préservent la plausibilité physique.
• Un modèle de politique robotique a besoin de trajectoires d’action, pas seulement de trames visuelles.

Cosmos3-Nano est la tentative de NVIDIA de réunir ces capacités sous une famille de modèles ouverts.

L’architecture : Mixture-of-Transformers

NVIDIA décrit Cosmos 3 comme une architecture Mixture-of-Transformers. Le modèle combine deux systèmes de transformeurs complémentaires :

Composant	Rôle
Transformeur autorégressif	Génère des tokens discrets tels que du texte
Transformeur de diffusion	Génère des modalités continues telles que les images, la vidéo, l’audio et les actions

C’est une conception pragmatique. La génération de texte et la génération vidéo ne nécessitent pas le même processus de décodage. Le texte fonctionne bien avec un décodage autorégressif token par token. Les images, la vidéo et l’audio fonctionnent souvent mieux comme des problèmes de débruitage.

L’architecture conserve les deux mécanismes dans un même cadre de modèle, de sorte que Cosmos3 peut raisonner et générer sur des modalités hétérogènes sans prétendre que chaque sortie doit être décodée de la même manière.

C’est la raison technique pour laquelle Cosmos3-Nano semble différent d’une pile « modèle vidéo plus légende ». L’objectif n’est pas de greffer un modèle vision-langage sur un générateur. L’objectif est un modèle d’IA physique unifié capable de raisonner, de générer et d’agir.

Capacités d’entrée et de sortie

Selon la fiche du modèle, Cosmos3-Nano prend en charge une large surface d’entrée et de sortie.

Entrées du générateur :

• texte
• image
• vidéo avec ou sans audio
• trajectoire d’action

Sorties du générateur :

• image
• vidéo
• audio
• action
• texte

La fiche du modèle liste les formats d’image et de vidéo courants tels que JPG, PNG, WEBP et MP4. Les entrées vidéo peuvent être en 256p, 480p ou 720p, et la vidéo d’entrée est limitée à 5 trames pour le chemin de génération. Les entrées audio sont courtes, avec une durée maximale de 0,5 seconde. Les entrées d’action couvrent plusieurs incarnations, notamment le mouvement de caméra, les véhicules autonomes, le mouvement égocentrique, les bras Franka, Agibot, UR, robot Google, WidowX 250 et UMI.

Pour les sorties, la vidéo générée est au format MP4. L’audio généré est encodé en AAC et muxé dans le fichier vidéo. La génération vidéo peut aller de 5 à 400 trames, avec 189 trames indiquées comme durée de génération par défaut.

Cette combinaison est inhabituelle. La plupart des modèles vidéo publics exposent du texte-vers-vidéo et de l’image-vers-vidéo. Cosmos3-Nano expose un ensemble de contrôles plus orientés IA physique, notamment la génération conditionnée par des actions et la prédiction d’actions.

Ce que les développeurs peuvent construire avec

Cosmos3-Nano est plus intéressant lorsque le produit n’est pas un éditeur vidéo grand public.

Génération de données synthétiques

Les systèmes d’IA physique ont besoin de données couvrant les cas limites. La collecte dans le monde réel est coûteuse, lente et parfois dangereuse. Cosmos3-Nano peut aider à générer des scènes, des états futurs et des interactions physiques qui enrichissent les jeux de données réels.

Cela ne signifie pas que les données synthétiques remplacent les données réelles. Cela signifie que les équipes peuvent élargir la couverture autour des conditions météorologiques rares, des dispositions d’objets inhabituelles, des situations de trafic à longue traîne, des interactions en entrepôt ou des états de manipulation robotique.

Prédiction d’états futurs

Un modèle du monde devrait aider à estimer ce qui se passe ensuite. Si une caméra voit un véhicule en mouvement, une boîte glissant sur un tapis roulant ou un bras robotique s’approchant d’un objet, le modèle peut être utilisé dans un flux de travail de prédiction.

NVIDIA est prudent en matière de sécurité ici. Les sorties de Cosmos3 ne doivent pas être traitées comme une vérité physique certifiée. Pour les systèmes autonomes, les prédictions générées nécessitent des contraintes externes, une validation et des garde-fous au niveau du système.

Raisonnement sur les actions robotiques

Le support des trajectoires d’action est le différenciateur le plus important. Cosmos3-Nano peut se conditionner sur des séquences d’actions et générer des déploiements physiques, ou inférer des sorties similaires à des actions à partir d’un contexte visuel.

Cela le rend pertinent pour :

• le développement de politiques robotiques
• la planification de la manipulation
• les expériences de dynamique inverse
• l’augmentation des données pour les agents incarnés
• la recherche sim-vers-réel

Encore une fois, il s’agit d’un bloc de construction pour la recherche et le développement, pas d’un contrôleur de sécurité clé en main.

Génération vidéo et audio pour les scènes physiques

Cosmos3-Nano peut également générer de la vidéo avec du son ambiant. La fiche du modèle inclut des exemples pour le texte-vers-vidéo, l’image-vers-vidéo, le texte-vers-vidéo plus audio et l’image-vers-vidéo plus audio via un endpoint vLLM-Omni local.

Pour les créateurs de contenu, cela peut sembler être un concurrent des modèles vidéo tels que Kling ou Seedance. Mais le cas d’usage le plus fort est la génération de scènes physiques : routes, entrepôts, robots, espaces intérieurs, caméras, mouvement d’objets et environnements où la cohérence physique importe plus que la production cinématographique stylisée.

Comment exécuter Cosmos3-Nano

La fiche Hugging Face présente trois chemins principaux :

• Framework NVIDIA Cosmos
• Serveur vLLM-Omni
• Hugging Face Diffusers

Pour le déploiement, NVIDIA recommande vLLM-Omni pour un endpoint API compatible OpenAI. Une commande de service typique ressemble à ceci :

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

Pour une expérimentation simple avec Diffusers, la fiche Hugging Face expose également le pattern de pipeline familier :

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

Pour les flux de travail vidéo ou d’action sérieux, utilisez les exemples du framework Cosmos plutôt que de traiter ce modèle comme un modèle texte-vers-image générique. Les exemples avancés reposent sur des prompts suréchantillonnés en JSON, des prompts négatifs, des requêtes multiparties et des paramètres spécifiques au modèle tels que le nombre de trames, les FPS, les étapes d’inférence, l’échelle de guidance et les métadonnées d’action.

Notes sur le matériel et le déploiement

Ce n’est pas un modèle pour ordinateur portable. La fiche du modèle liste le GB200 et H100 comme matériel de test, avec les microarchitectures NVIDIA Ampere, Hopper et Blackwell comme familles de matériel prises en charge. Seule la précision BF16 est officiellement testée.

La fiche indique également que le modèle n’est pas déployé par un fournisseur d’inférence Hugging Face au moment de la rédaction. En pratique, cela signifie que la plupart des développeurs l’évalueront via une infrastructure GPU NVIDIA locale, une inférence hébergée personnalisée, un déploiement de style NIM ou un fournisseur d’API spécialisé une fois la prise en charge disponible.

Pour les équipes construisant des systèmes de production, la question du déploiement n’est pas seulement « puis-je l’exécuter ? » C’est :

• Puis-je maintenir une latence suffisamment faible pour la tâche ?
• Puis-je me permettre suffisamment de mémoire GPU pour la résolution et le nombre de trames cibles ?
• Puis-je valider les sorties par rapport à des contraintes spécifiques au domaine ?
• Puis-je enregistrer les prompts, les entrées, les graines, les sorties générées et les métadonnées d’action pour examen ?
• Puis-je échouer en toute sécurité lorsque l’état du monde généré est incertain ?

Cosmos3-Nano est ouvert, mais le déploiement d’IA physique nécessite encore une infrastructure sérieuse.

Comment Cosmos3-Nano se compare aux modèles vidéo créatifs

Cosmos3-Nano ne doit pas être évalué uniquement selon les mêmes critères que les générateurs vidéo grand public.

Type de modèle	Objectif principal	Meilleure utilisation
Modèle vidéo créatif	Générer des clips attrayants	publicités, vidéo sociale, b-roll cinématographique
Éditeur vidéo multimodal	Réviser des médias avec des entrées mixtes	flux de travail créatif, contenu produit
Modèle du monde	Raisonner sur et simuler des scènes physiques	robotique, VA, espaces intelligents, données synthétiques
Modèle d’action	Prédire ou générer des trajectoires de contrôle	apprentissage de politiques incarnées

Seedance, Kling, Runway et Veo restent de meilleures références pour la qualité vidéo destinée aux créateurs. Cosmos3-Nano est plus pertinent lorsque la scène générée doit être connectée au raisonnement physique ou à l’action.

C’est pourquoi cette publication est importante. Le marché se scinde. La vidéo IA est une branche. Les modèles du monde pour l’IA physique en sont une autre.

Limitations et sécurité

La fiche du modèle de NVIDIA est explicite sur le fait que les sorties de Cosmos3 ne doivent pas être traitées comme une simulation physiquement précise, un raisonnement de référence ou une prise de décision certifiée pour la sécurité.

C’est le bon avertissement. Un état futur généré peut être utile comme hypothèse, mais ce n’est pas une mesure vérifiée. Une action générée peut être utile pour la recherche, mais ce n’est pas automatiquement un contrôle sûr. Une scène synthétique peut aider à enrichir un jeu de données, mais elle peut encore encoder des biais, des cas manquants ou des détails physiquement implausibles.

Les équipes de production devraient associer Cosmos3-Nano à :

• une validation par domaine
• des simulateurs conventionnels là où la physique exacte est importante
• des filtres de sécurité et des garde-fous
• une révision humaine pour les sorties à haut risque
• des données d’évaluation réelles
• des solutions de repli lorsque les prédictions sont incertaines

Le modèle est puissant parce qu’il unifie les modalités. Cela signifie également que les erreurs peuvent se propager entre les modalités. Si l’étape de raisonnement mal interprète une scène, la vidéo, l’audio ou l’action générés peuvent hériter de cette erreur.

Pourquoi c’est important pour les plateformes IA

Cosmos3-Nano indique un changement plus large : les API de modèles évoluent au-delà des endpoints texte, image et vidéo vers des API d’état du monde.

Les futures plateformes IA n’exposeront pas seulement :

generate_image(prompt)
generate_video(prompt)

Elles exposeront des tâches d’IA physique de plus haut niveau :

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

Pour les développeurs, cela signifie que le routage des modèles devient plus important. Une demande pour une publicité TikTok devrait aller vers un modèle vidéo créatif rapide. Une demande pour des données synthétiques de robot d’entrepôt devrait aller vers un modèle du monde d’IA physique. Une demande pour un déploiement d’action contrôlé devrait utiliser un modèle conscient des actions, pas un endpoint image-vers-vidéo générique.

Cosmos3-Nano est l’un des exemples publics les plus clairs de cette prochaine catégorie.

Conclusion

NVIDIA Cosmos3-Nano est un modèle du monde omnimodal ouvert de 16 milliards de paramètres pour l’IA physique. Sa valeur ne réside pas seulement dans sa capacité à générer de la vidéo, des images, de l’audio, du texte et des actions. Sa valeur réside dans le fait que ces capacités vivent à l’intérieur d’une famille de modèles construite pour raisonner sur les environnements physiques.

Si vous construisez des outils créatifs, Cosmos3-Nano peut être moins immédiatement utile que Seedance, Kling, Runway ou Veo. Si vous construisez des flux de travail robotiques, des jeux de données de systèmes autonomes, de la perception d’espaces intelligents ou des données d’entraînement synthétiques du monde physique, c’est l’une des publications les plus importantes à tester ce mois-ci.

La grande idée est simple : la génération IA passe de la création de médias vers la simulation du monde physique. Cosmos3-Nano est le point d’entrée ouvert de NVIDIA dans ce changement.

Sources

• nvidia/Cosmos3-Nano sur Hugging Face
• NVIDIA lance Cosmos 3 pour l’IA physique
• Blog Technique NVIDIA : Développer l’IA physique avec Cosmos 3