NVIDIA Cosmos 3: ein offenes Modell für physische KI
NVIDIA Cosmos 3: ein offenes Weltmodell für physische KI, das Vision, Weltgenerierung und Handlung in einem System vereint.
NVIDIA nutzte seine Computex-2026-Keynote, um Cosmos 3 vorzustellen, ein offenes World-Foundation-Modell für physische KI, das Vision-Reasoning, Weltgenerierung und Handlungsvorhersage in einem System vereint. Es ist das bislang klarste Signal, dass die nächste Grenze nicht Chat ist, sondern Maschinen, die die reale Welt verstehen und in ihr handeln.
01. Der Wandel: Rechenleistung ist Daten
Die reale Welt ist praktisch unendlich, und reale Daten sind schwer zu skalieren. NVIDIAs Einordnung ist unverblümt: Für physische KI ist Rechenleistung Daten. Statt mehr Aufnahmen zu sammeln, erzeugt Cosmos 3 physikalisch akkurate Trainingsdaten auf Abruf, weshalb NVIDIA sagt, es verkürze die Trainings- und Evaluationszyklen für physische KI von Monaten auf Tage. Es wurde auf 20 Billionen Tokens multimodaler Daten trainiert, darunter fast eine Milliarde Bilder und 400 Millionen reale und synthetische Videos.
02. Ein Modell, drei Aufgaben
Wo frühere Cosmos-Releases die Arbeit auf getrennte Modelle aufteilten (Predict, Transfer, Reason, Policy), fasst Cosmos 3 sie zu einem Omnimodell zusammen, gebaut auf einer Mixture-of-Transformers-Architektur, bei der Pixel, Handlung, Klang und Sprache durch einen einzigen autoregressiven Transformer fließen:
- Als VLM: Es beobachtet die physische Welt, beschreibt Szenen und markiert, was wichtig ist.
- Als Weltmodell: Es erzeugt physikalisch akkurates synthetisches Video aus einem Bild, Text oder Video.
- Als Simulator: Es schließt die Schleife für Training und Evaluation von Roboter-Policies.
Für physische KI ist Rechenleistung Daten. Cosmos verwandelt den schwersten Teil jedes Robotik-Projekts, genug realistische Szenarien zu erzeugen, um zu trainieren und zu validieren, in einen API-Aufruf.
03. Die Koalition, und warum wir hinsehen
NVIDIA startete zudem die Cosmos Coalition, eine Zusammenarbeit mit Agile Robots, Black Forest Labs, Generalist, LTX, Runway und Skild AI, um Weltmodelle der nächsten Generation gemeinsam voranzutreiben. Die Gewichte sind offen, und eine 8B-Nano-Variante ist klein genug, um lokal zu laufen, begleitet von einem umfangreichen technischen Bericht und einem Entwickler-Leitfaden.
Das liegt genau dort, wo sich unsere KI-, XR- und 3D-Design-Arbeit überschneidet. Ein Weltmodell, das physikalisch akkurate synthetische Umgebungen erzeugt, ist im Grunde eine Daten- und Simulations-Engine, und der schwere Teil jedes Robotik-, Digital-Twin- oder Spatial-Computing-Projekts ist selten das Modell, sondern genug realistische Szenarien zu erzeugen, um zu trainieren und zu validieren. Für Kunden, die etwas bauen, das die reale Welt verstehen oder in ihr handeln muss, hört "Rechenleistung ist Daten" auf, ein Slogan zu sein, und wird ein Arbeitsablauf.
Quellen: NVIDIA Newsroom, NVIDIA Blog, NVIDIA Cosmos Überblick.
