NVIDIA Cosmos 3 : un modèle ouvert unique pour l'IA physique
NVIDIA Cosmos 3 : un modèle de monde ouvert unique pour l'IA physique, réunissant vision, génération de monde et action en un seul système.
Traduction produite automatiquement par IA. La version allemande est l'original vérifié par la rédaction.
NVIDIA a profité de sa keynote du Computex 2026 pour lancer Cosmos 3, un modèle de fondation de monde ouvert pour l'IA physique qui réunit le raisonnement visuel, la génération de monde et la prédiction d'action en un seul système. C'est le signal le plus clair à ce jour que la prochaine frontière n'est pas la conversation, mais des machines qui comprennent et agissent dans le monde réel.
01. Le basculement : le calcul est la donnée
Le monde réel est de fait infini, et les données du monde réel sont difficiles à passer à l'échelle. La formulation de NVIDIA est sans détour : pour l'IA physique, le calcul est la donnée. Plutôt que de collecter davantage de séquences, Cosmos 3 génère à la demande des données d'entraînement fidèles à la physique, ce qui explique pourquoi NVIDIA affirme qu'il réduit les cycles d'entraînement et d'évaluation de l'IA physique de plusieurs mois à quelques jours. Il a été entraîné sur 20 000 milliards de tokens de données multimodales, dont près d'un milliard d'images et 400 millions de vidéos réelles et synthétiques.
02. Un modèle, trois rôles
Là où les précédentes versions de Cosmos répartissaient le travail entre des modèles distincts (Predict, Transfer, Reason, Policy), Cosmos 3 les fond en un seul omnimodèle bâti sur une architecture mixture-of-transformers, où pixels, action, son et langage transitent par un unique transformeur autorégressif :
- En tant que VLM : il observe le monde physique, décrit les scènes et signale ce qui compte.
- En tant que modèle de monde : il génère une vidéo synthétique fidèle à la physique à partir d'une image, d'un texte ou d'une vidéo.
- En tant que simulateur : il boucle l'entraînement et l'évaluation des politiques de robots.
Pour l'IA physique, le calcul est la donnée. Cosmos transforme la partie la plus ardue de tout projet de robotique, générer assez de scénarios réalistes pour entraîner et valider, en un appel d'API.
03. La coalition, et pourquoi nous observons
NVIDIA a aussi lancé la Cosmos Coalition, une collaboration avec Agile Robots, Black Forest Labs, Generalist, LTX, Runway et Skild AI pour faire progresser ensemble les modèles de monde de nouvelle génération. Les poids sont ouverts, et une variante Nano de 8B est assez petite pour tourner en local, aux côtés d'un rapport technique substantiel et d'un guide développeur.
Cela se situe exactement à l'intersection de nos travaux en IA, en XR et en conception 3D. Un modèle de monde qui génère des environnements synthétiques fidèles à la physique est, de fait, un moteur de données et de simulation, et la partie ardue de tout projet de robotique, de jumeau numérique ou d'informatique spatiale est rarement le modèle : c'est produire assez de scénarios réalistes pour entraîner et valider. Pour les clients qui construisent quoi que ce soit devant comprendre ou agir dans le monde réel, « le calcul est la donnée » cesse d'être un slogan et devient un flux de travail.
Sources : NVIDIA Newsroom, NVIDIA Blog, présentation de NVIDIA Cosmos.
