Was ist NVIDIA Cosmos3-Nano? Das 16B Omni-Weltmodell für physische KI

NVIDIA hat gerade Cosmos3-Nano auf Hugging Face veröffentlicht, und es ist kein gewöhnlicher Text-zu-Video-Checkpoint. Es handelt sich um ein omnimodales Weltmodell mit 16 Milliarden Parametern, das für Physical AI entwickelt wurde: Robotik, autonome Fahrzeuge, intelligente Gebäude, industrielle Umgebungen, Simulation und Aktions-Reasoning.

Die Kurzfassung: Cosmos3-Nano kann Kombinationen aus Text, Bild, Video, Audio und Aktionstrajectories als Eingabe verarbeiten und dann Text, Bild, Video, Audio oder Aktionsausgaben erzeugen. Das macht es eher zu einem Betriebsmodell für die physische Welt als zu einem Einzweck-Bild- oder Videogenerator.

Die Modellkarte ist hier zu finden: nvidia/Cosmos3-Nano auf Hugging Face. NVIDIA hat auch die umfassendere Cosmos-3-Ankündigung in seinem Newsroom und eine praktische Entwicklerübersicht im NVIDIA Technical Blog veröffentlicht.

Was Cosmos3-Nano ist

Cosmos3-Nano ist die kleinere Veröffentlichung in NVIDIAs Cosmos-3-Familie. „Nano” bedeutet hier nicht winzig im üblichen Open-Model-Sinne. Die Modellkarte listet es mit 16 Milliarden trainierbaren Parametern auf, mit BF16-Gewichten und Unterstützung über NVIDIAs Cosmos-Framework, vLLM-Omni, vLLM, PyTorch und Hugging Face Diffusers.

Das Modell wird unter der OpenMDW-1.1-Lizenz veröffentlicht, und die Karte besagt, dass es für kommerzielle und nicht-kommerzielle Nutzung bereit ist. NVIDIA gibt den Veröffentlichungszeitpunkt als 31. Mai 2026 auf Hugging Face und GitHub an.

Das Wichtige ist der Modelltyp. Cosmos3-Nano ist ein Omni-Weltmodell:

• Es kann über physische Szenen nachdenken.
• Es kann Video- und Bildausgaben generieren.
• Es kann Umgebungsaudio generieren, das in Videos eingebettet wird.
• Es kann Aktionstrajectories generieren oder darauf konditionieren.
• Es kann Zukunftszustand-Vorhersagen und Embodied-Policy-Workflows unterstützen.

Das versetzt es in eine andere Kategorie als Modelle wie Veo, Runway, Seedance oder Kling. Diese sind primär kreative Videomodelle. Cosmos3-Nano richtet sich an Entwickler, die ein Modell benötigen, das physische Umgebungen versteht, simuliert und in ihnen agiert.

Warum es wichtig ist

Die meisten generativen Videomodelle beantworten eine kreative Frage:

Wie sollte diese Szene aussehen?

Cosmos3-Nano versucht, eine Physical-AI-Frage zu beantworten:

Was passiert in dieser Szene, was könnte als nächstes passieren, und welche Aktion sollte folgen?

Diese Unterscheidung ist für Robotik und autonome Systeme entscheidend. Ein Lagerroboter, ein Lieferfahrzeug, eine Fabrikkamera oder ein Embodied Agent benötigt nicht nur schönes Video. Er benötigt ein nützliches internes Modell der Welt.

Zum Beispiel:

• Ein Roboterarm muss verstehen, wie sich Objekte beim Greifen bewegen.
• Ein autonomes Fahrzeug benötigt Zukunftszustand-Vorhersagen unter wechselnden Straßenbedingungen.
• Ein Smart-Space-System muss über Aktivitäten in Footage von stationären Kameras nachdenken.
• Eine Simulations-Pipeline benötigt synthetische Daten, die physikalische Plausibilität wahren.
• Ein Roboter-Policy-Modell benötigt Aktionstrajectories, nicht nur visuelle Frames.

Cosmos3-Nano ist NVIDIAs Versuch, diese Fähigkeiten unter einer offenen Modellfamilie zu vereinen.

Die Architektur: Mixture-of-Transformers

NVIDIA beschreibt Cosmos 3 als eine Mixture-of-Transformers-Architektur. Das Modell kombiniert zwei komplementäre Transformer-Systeme:

Komponente	Rolle
Autoregressiver Transformer	Generiert diskrete Token wie Text
Diffusions-Transformer	Generiert kontinuierliche Modalitäten wie Bilder, Video, Audio und Aktionen

Dies ist ein pragmatisches Design. Textgenerierung und Videogenerierung erfordern nicht denselben Decodierungsprozess. Text funktioniert gut mit autoregressiver Next-Token-Decodierung. Bilder, Video und Audio funktionieren oft besser als Denoising-Probleme.

Die Architektur hält beide Mechanismen in einem Modell-Framework, sodass Cosmos3 über heterogene Modalitäten hinweg denken und generieren kann, ohne zu behaupten, dass jede Ausgabe auf dieselbe Weise decodiert werden sollte.

Das ist der technische Grund, warum sich Cosmos3-Nano anders anfühlt als ein „Videomodell plus Beschriftungsgenerator”-Stack. Das Ziel ist nicht, ein Vision-Language-Modell an einen Generator anzuflanschen. Das Ziel ist ein einheitliches Physical-AI-Modell, das denken, generieren und handeln kann.

Eingabe- und Ausgabefähigkeiten

Laut der Modellkarte unterstützt Cosmos3-Nano eine breite Eingabe- und Ausgabeoberfläche.

Generator-Eingaben:

• Text
• Bild
• Video mit oder ohne Audio
• Aktionstrajectory

Generator-Ausgaben:

• Bild
• Video
• Audio
• Aktion
• Text

Die Modellkarte listet gängige Bild- und Videoformate wie JPG, PNG, WEBP und MP4 auf. Videoeingaben können 256p, 480p oder 720p sein, und Eingabevideo ist für den Generator-Pfad auf 5 Frames begrenzt. Audioeingaben sind kurz, mit einer maximalen Länge von 0,5 Sekunden. Aktionseingaben decken mehrere Embodiments ab, darunter Kamerabewegung, autonome Fahrzeuge, egozentrische Bewegung, Franka-Arme, Agibot, UR, Google-Roboter, WidowX 250 und UMI.

Bei Ausgaben ist generiertes Video MP4. Generiertes Audio wird als AAC codiert und in die Videodatei eingebettet. Die Videogenerierung kann von 5 bis 400 Frames reichen, wobei 189 Frames als Standard-Generierungsdauer angegeben sind.

Diese Kombination ist ungewöhnlich. Die meisten öffentlichen Videomodelle bieten Text-zu-Video und Bild-zu-Video an. Cosmos3-Nano bietet einen stärker auf Physical AI ausgerichteten Satz von Steuerelementen, einschließlich aktionskonditionierter Generierung und Aktionsvorhersage.

Was Entwickler damit bauen können

Cosmos3-Nano ist am interessantesten, wenn das Produkt kein Consumer-Videoeditor ist.

Synthetische Datengenerierung

Physical-AI-Systeme benötigen Daten, die Grenzfälle abdecken. Die Sammlung in der realen Welt ist teuer, langsam und manchmal unsicher. Cosmos3-Nano kann helfen, Szenen, Zukunftszustände und physikalische Interaktionen zu generieren, die echte Datensätze ergänzen.

Das bedeutet nicht, dass synthetische Daten echte Daten ersetzen. Es bedeutet, dass Teams die Abdeckung bei seltenen Wetterereignissen, ungewöhnlichen Objektanordnungen, Long-Tail-Verkehrssituationen, Lagerinteraktionen oder Robotermanipulationszuständen erweitern können.

Zukunftszustand-Vorhersage

Ein Weltmodell sollte helfen, zu schätzen, was als nächstes passiert. Wenn eine Kamera ein fahrendes Fahrzeug, eine auf einem Band gleitende Kiste oder einen sich einem Objekt nähernden Roboterarm sieht, kann das Modell als Teil eines Vorhersage-Workflows verwendet werden.

NVIDIA ist hier hinsichtlich Sicherheit vorsichtig. Cosmos3-Ausgaben sollten nicht als zertifizierte physikalische Wahrheit behandelt werden. Für autonome Systeme benötigen generierte Vorhersagen externe Einschränkungen, Validierung und systemseitige Sicherheitsmechanismen.

Roboter-Aktions-Reasoning

Die Unterstützung von Aktionstrajectories ist der wichtigste Differenzierungsfaktor. Cosmos3-Nano kann auf Aktionssequenzen konditionieren und physikalische Rollouts generieren oder aktionsähnliche Ausgaben aus visuellem Kontext ableiten.

Das macht es relevant für:

• Roboter-Policy-Entwicklung
• Manipulationsplanung
• Inverse-Dynamics-Experimente
• Datenerweiterung für Embodied Agents
• Sim-to-Real-Forschung

Auch hier handelt es sich um einen Forschungs- und Entwicklungs-Baustein, nicht um einen schlüsselfertigen Sicherheitscontroller.

Video- und Audiogenerierung für physische Szenen

Cosmos3-Nano kann auch Video mit Umgebungssound generieren. Die Modellkarte enthält Beispiele für Text-zu-Video, Bild-zu-Video, Text-zu-Video plus Audio und Bild-zu-Video plus Audio über einen lokalen vLLM-Omni-Endpunkt.

Für Content-Creator mag das wie ein Konkurrent zu Videomodellen wie Kling oder Seedance klingen. Aber der stärkere Anwendungsfall ist die Generierung physischer Szenen: Straßen, Lager, Roboter, Innenräume, Kameras, Objektbewegungen und Umgebungen, in denen physikalische Konsistenz wichtiger ist als stilisierte kinematische Ausgaben.

So führt man Cosmos3-Nano aus

Die Hugging-Face-Karte zeigt drei Hauptpfade:

• NVIDIA Cosmos Framework
• vLLM-Omni Serving
• Hugging Face Diffusers

Für den Einsatz empfiehlt NVIDIA vLLM-Omni für einen OpenAI-kompatiblen API-Endpunkt. Ein typischer Serving-Befehl sieht folgendermaßen aus:

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

Für einfache Diffusers-Experimente bietet die Hugging-Face-Karte auch das bekannte Pipeline-Muster:

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

Für ernsthafte Video- oder Aktions-Workflows sollten die Cosmos-Framework-Beispiele verwendet werden, anstatt dies als generisches Text-zu-Bild-Modell zu behandeln. Die erweiterten Beispiele stützen sich auf JSON-upgesamplete Prompts, negative Prompts, mehrteilige Anfragen und modellspezifische Parameter wie Frame-Anzahl, FPS, Inferenzschritte, Guidance-Scale und Aktionsmetadaten.

Hardware- und Deployment-Hinweise

Dies ist kein Laptop-Spielzeugmodell. Die Modellkarte listet GB200 und H100 als Testhardware auf, mit NVIDIA Ampere, Hopper und Blackwell als unterstützten Hardware-Mikroarchitektur-Familien. Nur BF16-Präzision ist offiziell getestet.

Die Karte besagt auch, dass das Modell zum Zeitpunkt der Erstellung nicht von einem Hugging Face Inference Provider bereitgestellt wird. In der Praxis bedeutet das, dass die meisten Entwickler es über lokale NVIDIA-GPU-Infrastruktur, gehostete Custom-Inference, NIM-style Deployment oder einen spezialisierten API-Anbieter evaluieren werden, sobald die Unterstützung verfügbar ist.

Für Teams, die Produktionssysteme entwickeln, lautet die Deployment-Frage nicht nur „Kann ich es ausführen?” Sie lautet:

• Kann ich die Latenz für die Aufgabe niedrig genug halten?
• Kann ich mir genug GPU-Speicher für die Zielauflösung und Frame-Anzahl leisten?
• Kann ich Ausgaben gegen domänenspezifische Einschränkungen validieren?
• Kann ich Prompts, Eingaben, Seeds, generierte Ausgaben und Aktionsmetadaten zur Überprüfung protokollieren?
• Kann ich sicher versagen, wenn der generierte Weltzustand unsicher ist?

Cosmos3-Nano ist offen, aber Physical-AI-Deployment erfordert nach wie vor ernsthafte Infrastruktur.

Wie Cosmos3-Nano im Vergleich zu kreativen Videomodellen abschneidet

Cosmos3-Nano sollte nicht nur nach denselben Kriterien wie Consumer-Videogeneratoren bewertet werden.

Modelltyp	Primäres Ziel	Beste Eignung
Kreatives Videomodell	Ansprechende Clips generieren	Werbung, Social Video, kinematisches B-Roll
Multimodaler Videoeditor	Medien mit gemischten Eingaben überarbeiten	Creator-Workflows, Produktinhalt
Weltmodell	Über physische Szenen nachdenken und simulieren	Robotik, AV, Smart Spaces, synthetische Daten
Aktionsmodell	Steuertrajektorien vorhersagen oder generieren	Embodied Policy Learning

Seedance, Kling, Runway und Veo sind nach wie vor bessere Referenzen für creator-orientierte Videoqualität. Cosmos3-Nano ist relevanter, wenn die generierte Szene mit physikalischem Reasoning oder Aktionen verbunden sein muss.

Deshalb ist diese Veröffentlichung wichtig. Der Markt teilt sich. KI-Video ist ein Zweig. Physical-AI-Weltmodelle sind ein anderer.

Einschränkungen und Sicherheit

NVIDIAs Modellkarte stellt explizit klar, dass Cosmos3-Ausgaben nicht als physikalisch genaue Simulation, Ground-Truth-Reasoning oder sicherheitszertifizierte Entscheidungsfindung behandelt werden sollten.

Das ist die richtige Warnung. Ein generierter Zukunftszustand kann als Hypothese nützlich sein, ist aber keine verifizierte Messung. Eine generierte Aktion kann für die Forschung nützlich sein, ist aber nicht automatisch sichere Steuerung. Eine synthetische Szene kann helfen, einen Datensatz zu erweitern, kann aber dennoch Verzerrungen, fehlende Fälle oder physikalisch unplausible Details enthalten.

Produktionsteams sollten Cosmos3-Nano kombinieren mit:

• Domänenvalidierung
• Konventionellen Simulatoren, wo exakte Physik wichtig ist
• Sicherheitsfiltern und Guardrails
• Menschlicher Überprüfung bei risikoreichen Ausgaben
• Realen Evaluierungsdaten
• Fallbacks bei unsicheren Vorhersagen

Das Modell ist mächtig, weil es Modalitäten vereint. Das bedeutet auch, dass sich Fehler über Modalitäten hinweg fortpflanzen können. Wenn der Reasoning-Schritt eine Szene falsch liest, können das generierte Video, Audio oder die Aktion diesen Fehler übernehmen.

Warum das für KI-Plattformen wichtig ist

Cosmos3-Nano deutet auf eine breitere Verschiebung hin: Modell-APIs bewegen sich über Text-, Bild- und Video-Endpunkte hinaus in Weltzustands-APIs.

Zukünftige KI-Plattformen werden nicht nur exponieren:

generate_image(prompt)
generate_video(prompt)

Sie werden übergeordnete Physical-AI-Aufgaben exponieren:

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

Für Entwickler bedeutet das, dass Model-Routing wichtiger wird. Eine Anfrage für eine TikTok-Anzeige sollte an ein schnelles kreatives Videomodell gehen. Eine Anfrage für synthetische Daten für Lagerroboter sollte an ein Physical-AI-Weltmodell gehen. Eine Anfrage für einen kontrollierten Aktions-Rollout sollte ein aktionsbewusstes Modell verwenden, keinen generischen Bild-zu-Video-Endpunkt.

Cosmos3-Nano ist eines der klarsten öffentlichen Beispiele für diese nächste Kategorie.

Fazit

NVIDIA Cosmos3-Nano ist ein offenes omnimodales 16-Milliarden-Parameter-Weltmodell für Physical AI. Sein Wert liegt nicht nur darin, dass es Video, Bilder, Audio, Text und Aktionen generieren kann. Sein Wert liegt darin, dass diese Fähigkeiten in einer Modellfamilie vereint sind, die für das Reasoning über physische Umgebungen entwickelt wurde.

Wenn Sie Creator-Tools entwickeln, ist Cosmos3-Nano möglicherweise weniger unmittelbar nützlich als Seedance, Kling, Runway oder Veo. Wenn Sie Robotik-Workflows, Datensätze für autonome Systeme, Smart-Space-Wahrnehmung oder synthetische physikalische Welttrainingsdaten entwickeln, ist es eine der wichtigsten Veröffentlichungen, die diesen Monat getestet werden sollten.

Die große Idee ist einfach: KI-Generierung bewegt sich von der Medienerstellung hin zur Simulation der physischen Welt. Cosmos3-Nano ist NVIDIAs offener Einstiegspunkt in diese Verschiebung.

Quellen

• nvidia/Cosmos3-Nano auf Hugging Face
• NVIDIA launches Cosmos 3 for Physical AI
• NVIDIA Technical Blog: Develop Physical AI with Cosmos 3