Apa Itu NVIDIA Cosmos3-Nano? Model Dunia Omni 16B untuk AI Fisik

NVIDIA baru saja merilis Cosmos3-Nano di Hugging Face, dan ini bukan checkpoint text-to-video biasa. Ini adalah model dunia omnimodal berparameter 16B yang dirancang untuk Physical AI: robotika, kendaraan otonom, ruang pintar, lingkungan industri, simulasi, dan penalaran tindakan.

Singkatnya: Cosmos3-Nano dapat menerima kombinasi teks, gambar, video, audio, dan trajektori aksi sebagai input, lalu menghasilkan output berupa teks, gambar, video, audio, atau aksi. Itu menjadikannya lebih mirip model operasi dunia fisik daripada generator gambar atau video untuk satu tujuan saja.

Anda dapat membaca kartu modelnya di sini: nvidia/Cosmos3-Nano di Hugging Face. NVIDIA juga mempublikasikan pengumuman Cosmos 3 yang lebih luas di ruang beritanya dan gambaran umum praktis untuk developer di Blog Teknis NVIDIA.

Apa itu Cosmos3-Nano

Cosmos3-Nano adalah rilis yang lebih kecil dalam keluarga Cosmos 3 dari NVIDIA. “Nano” tidak berarti kecil dalam arti model terbuka yang biasa. Kartu model mencantumkannya dengan 16B parameter yang dapat dilatih, dengan bobot BF16 dan dukungan melalui framework Cosmos NVIDIA, vLLM-Omni, vLLM, PyTorch, dan Hugging Face Diffusers.

Model ini dirilis di bawah lisensi OpenMDW 1.1 dan kartu tersebut menyatakan siap untuk penggunaan komersial dan non-komersial. NVIDIA mencantumkan tanggal rilis 31 Mei 2026 di Hugging Face dan GitHub.

Bagian terpentingnya adalah jenis modelnya. Cosmos3-Nano adalah model dunia omni:

• Dapat bernalar tentang pemandangan fisik.
• Dapat menghasilkan output video dan gambar.
• Dapat menghasilkan audio ambien yang dimux ke dalam video.
• Dapat menghasilkan atau mengkondisikan trajektori aksi.
• Dapat mendukung prediksi keadaan masa depan dan alur kerja kebijakan yang terkorporasi.

Itu menempatkannya dalam kategori yang berbeda dari model seperti Veo, Runway, Seedance, atau Kling. Model-model tersebut terutama adalah model video kreatif. Cosmos3-Nano ditujukan untuk developer yang membutuhkan model untuk memahami, mensimulasikan, dan bertindak di lingkungan fisik.

Mengapa ini penting

Sebagian besar model video generatif menjawab pertanyaan kreatif:

Bagaimana tampilan pemandangan ini seharusnya?

Cosmos3-Nano mencoba menjawab pertanyaan Physical AI:

Apa yang terjadi dalam pemandangan ini, apa yang mungkin terjadi selanjutnya, dan tindakan apa yang harus mengikutinya?

Perbedaan itu penting untuk robotika dan sistem otonom. Robot gudang, kendaraan pengiriman, kamera pabrik, atau agen yang terkorporasi tidak hanya membutuhkan video yang bagus. Ia membutuhkan model internal dunia yang berguna.

Misalnya:

• Lengan robot perlu memahami bagaimana objek bergerak saat digenggam.
• Kendaraan otonom membutuhkan prediksi keadaan masa depan di bawah kondisi jalan yang berubah.
• Sistem ruang pintar perlu bernalar tentang aktivitas dalam rekaman kamera tetap.
• Pipeline simulasi membutuhkan data sintetis yang mempertahankan plausibilitas fisik.
• Model kebijakan robot membutuhkan trajektori aksi, bukan hanya frame visual.

Cosmos3-Nano adalah upaya NVIDIA untuk menempatkan kemampuan-kemampuan tersebut di bawah satu keluarga model terbuka.

Arsitektur: Mixture-of-Transformers

NVIDIA mendeskripsikan Cosmos 3 sebagai arsitektur Mixture-of-Transformers. Model ini menggabungkan dua sistem transformer yang saling melengkapi:

Komponen	Peran
Transformer autoregresif	Menghasilkan token diskrit seperti teks
Transformer difusi	Menghasilkan modalitas kontinu seperti gambar, video, audio, dan aksi

Ini adalah desain yang pragmatis. Pembuatan teks dan pembuatan video tidak menginginkan proses decoding yang sama. Teks bekerja dengan baik dengan decoding autoregresif token berikutnya. Gambar, video, dan audio sering kali bekerja lebih baik sebagai masalah denoising.

Arsitektur ini mempertahankan kedua mekanisme dalam satu framework model, sehingga Cosmos3 dapat bernalar dan menghasilkan di berbagai modalitas heterogen tanpa berpura-pura bahwa setiap output harus didekodekan dengan cara yang sama.

Itulah alasan teknis mengapa Cosmos3-Nano terasa berbeda dari tumpukan “model video plus pemberi keterangan”. Tujuannya bukan untuk memasang model vision-language ke generator. Tujuannya adalah model Physical AI terpadu yang dapat bernalar, menghasilkan, dan bertindak.

Kemampuan input dan output

Menurut kartu model, Cosmos3-Nano mendukung permukaan input dan output yang luas.

Input generator:

• teks
• gambar
• video dengan atau tanpa audio
• trajektori aksi

Output generator:

• gambar
• video
• audio
• aksi
• teks

Kartu model mencantumkan format gambar dan video umum seperti JPG, PNG, WEBP, dan MP4. Input video dapat 256p, 480p, atau 720p, dan video input dibatasi hingga 5 frame untuk jalur generator. Input audio pendek, dengan panjang maksimum 0,5 detik. Input aksi mencakup berbagai embodimen, termasuk gerakan kamera, kendaraan otonom, gerakan egosentrik, lengan Franka, Agibot, UR, robot Google, WidowX 250, dan UMI.

Untuk output, video yang dihasilkan berformat MP4. Audio yang dihasilkan dikodekan sebagai AAC dan dimux ke dalam file video. Pembuatan video dapat berjalan dari 5 hingga 400 frame, dengan 189 frame tercantum sebagai durasi pembuatan default.

Kombinasi itu tidak biasa. Sebagian besar model video publik mengekspos text-to-video dan image-to-video. Cosmos3-Nano mengekspos serangkaian kontrol yang lebih berorientasi Physical AI, termasuk pembuatan yang dikondisikan aksi dan prediksi aksi.

Apa yang dapat dibangun developer dengannya

Cosmos3-Nano paling menarik ketika produknya bukan editor video konsumen.

Pembuatan data sintetis

Sistem Physical AI membutuhkan data yang mencakup kasus tepi. Pengumpulan di dunia nyata itu mahal, lambat, dan terkadang tidak aman. Cosmos3-Nano dapat membantu menghasilkan pemandangan, keadaan masa depan, dan interaksi fisik yang memperkaya dataset nyata.

Ini tidak berarti data sintetis menggantikan data nyata. Ini berarti tim dapat memperluas cakupan di sekitar cuaca langka, tata letak objek yang tidak biasa, situasi lalu lintas berekor panjang, interaksi gudang, atau keadaan manipulasi robot.

Prediksi keadaan masa depan

Model dunia harus membantu memperkirakan apa yang akan terjadi selanjutnya. Jika kamera melihat kendaraan yang bergerak, kotak yang meluncur di sabuk, atau lengan robot yang mendekati objek, model dapat digunakan sebagai bagian dari alur kerja prediksi.

NVIDIA berhati-hati tentang keamanan di sini. Output Cosmos3 tidak boleh diperlakukan sebagai kebenaran fisik yang tersertifikasi. Untuk sistem otonom, prediksi yang dihasilkan membutuhkan batasan eksternal, validasi, dan pengaman tingkat sistem.

Penalaran aksi robot

Dukungan trajektori aksi adalah pembeda terpenting. Cosmos3-Nano dapat mengkondisikan urutan aksi dan menghasilkan rollout fisik, atau menyimpulkan output seperti aksi dari konteks visual.

Itu membuatnya relevan untuk:

• pengembangan kebijakan robot
• perencanaan manipulasi
• eksperimen dinamika invers
• augmentasi data untuk agen yang terkorporasi
• penelitian sim-to-real

Sekali lagi, ini adalah blok pembangun penelitian dan pengembangan, bukan pengontrol keamanan yang siap pakai.

Pembuatan video dan audio untuk pemandangan fisik

Cosmos3-Nano juga dapat menghasilkan video dengan suara ambien. Kartu model menyertakan contoh untuk text-to-video, image-to-video, text-to-video plus audio, dan image-to-video plus audio melalui endpoint vLLM-Omni lokal.

Bagi pembuat konten, itu mungkin terdengar seperti pesaing model video seperti Kling atau Seedance. Namun kasus penggunaan yang lebih kuat adalah pembuatan pemandangan fisik: jalan, gudang, robot, ruang dalam ruangan, kamera, gerakan objek, dan lingkungan di mana konsistensi fisik lebih penting daripada output sinematik bergaya.

Cara menjalankan Cosmos3-Nano

Kartu Hugging Face menunjukkan tiga jalur utama:

• Framework NVIDIA Cosmos
• Serving vLLM-Omni
• Hugging Face Diffusers

Untuk deployment, NVIDIA merekomendasikan vLLM-Omni untuk endpoint API yang kompatibel dengan OpenAI. Perintah serving yang khas terlihat seperti ini:

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

Untuk eksperimen Diffusers sederhana, kartu Hugging Face juga mengekspos pola pipeline yang familiar:

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

Untuk alur kerja video atau aksi yang serius, gunakan contoh framework Cosmos alih-alih memperlakukan ini sebagai model text-to-image generik. Contoh lanjutan mengandalkan prompt yang di-upsample JSON, prompt negatif, permintaan multipart, dan parameter spesifik model seperti jumlah frame, FPS, langkah inferensi, skala panduan, dan metadata aksi.

Catatan hardware dan deployment

Ini bukan model mainan laptop. Kartu model mencantumkan GB200 dan H100 sebagai hardware pengujian, dengan NVIDIA Ampere, Hopper, dan Blackwell sebagai keluarga mikroarsitektur hardware yang didukung. Hanya presisi BF16 yang diuji secara resmi.

Kartu tersebut juga mengatakan model tidak di-deploy oleh Hugging Face Inference Provider pada saat penulisan. Dalam praktiknya, itu berarti sebagian besar developer akan mengevaluasinya melalui infrastruktur GPU NVIDIA lokal, inferensi yang dihosting kustom, deployment bergaya NIM, atau penyedia API khusus setelah dukungan tersedia.

Bagi tim yang membangun sistem produksi, pertanyaan deployment bukan hanya “dapatkah saya menjalankannya?” Pertanyaannya adalah:

• Dapatkah saya menjaga latensi cukup rendah untuk tugas tersebut?
• Dapatkah saya memiliki cukup memori GPU untuk resolusi dan jumlah frame target?
• Dapatkah saya memvalidasi output terhadap batasan spesifik domain?
• Dapatkah saya mencatat prompt, input, seed, output yang dihasilkan, dan metadata aksi untuk ditinjau?
• Dapatkah saya gagal dengan aman ketika keadaan dunia yang dihasilkan tidak pasti?

Cosmos3-Nano bersifat terbuka, tetapi deployment Physical AI tetap membutuhkan infrastruktur yang serius.

Perbandingan Cosmos3-Nano dengan model video kreatif

Cosmos3-Nano tidak boleh hanya dievaluasi berdasarkan kriteria yang sama dengan generator video konsumen.

Jenis model	Tujuan utama	Paling cocok untuk
Model video kreatif	Menghasilkan klip yang menarik	iklan, video sosial, b-roll sinematik
Editor video multimodal	Merevisi media dengan input campuran	alur kerja kreator, konten produk
Model dunia	Bernalar tentang dan mensimulasikan pemandangan fisik	robotika, AV, ruang pintar, data sintetis
Model aksi	Memprediksi atau menghasilkan trajektori kontrol	pembelajaran kebijakan yang terkorporasi

Seedance, Kling, Runway, dan Veo masih menjadi referensi yang lebih baik untuk kualitas video yang berorientasi kreator. Cosmos3-Nano lebih relevan ketika pemandangan yang dihasilkan harus terhubung ke penalaran fisik atau aksi.

Itulah mengapa rilis ini penting. Pasar sedang terpecah. Video AI adalah satu cabang. Model dunia Physical AI adalah cabang lainnya.

Keterbatasan dan keamanan

Kartu model NVIDIA secara eksplisit menyatakan bahwa output Cosmos3 tidak boleh diperlakukan sebagai simulasi fisik yang akurat, penalaran ground-truth, atau pengambilan keputusan bersertifikat keamanan.

Itu adalah peringatan yang tepat. Keadaan masa depan yang dihasilkan dapat berguna sebagai hipotesis, tetapi bukan pengukuran yang terverifikasi. Aksi yang dihasilkan dapat berguna untuk penelitian, tetapi bukan kontrol yang secara otomatis aman. Pemandangan sintetis dapat membantu memperluas dataset, tetapi masih dapat mengkodekan bias, kasus yang hilang, atau detail yang tidak plausibel secara fisik.

Tim produksi harus memasangkan Cosmos3-Nano dengan:

• validasi domain
• simulator konvensional di mana fisika yang tepat penting
• filter keamanan dan pengaman
• tinjauan manusia untuk output berisiko tinggi
• data evaluasi dunia nyata
• fallback ketika prediksi tidak pasti

Model ini kuat karena menyatukan modalitas. Itu juga berarti kesalahan dapat merambat di seluruh modalitas. Jika langkah penalaran salah membaca pemandangan, video, audio, atau aksi yang dihasilkan dapat mewarisi kesalahan tersebut.

Mengapa ini penting bagi platform AI

Cosmos3-Nano menunjuk pada pergeseran yang lebih luas: API model bergerak melampaui endpoint teks, gambar, dan video menuju API keadaan dunia.

Platform AI masa depan tidak hanya akan mengekspos:

generate_image(prompt)
generate_video(prompt)

Mereka akan mengekspos tugas Physical AI tingkat tinggi:

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

Bagi developer, itu berarti perutean model menjadi lebih penting. Permintaan untuk iklan TikTok harus diarahkan ke model video kreatif yang cepat. Permintaan untuk data sintetis robot gudang harus diarahkan ke model dunia Physical AI. Permintaan untuk rollout aksi yang terkontrol harus menggunakan model yang menyadari aksi, bukan endpoint image-to-video generik.

Cosmos3-Nano adalah salah satu contoh publik paling jelas dari kategori berikutnya tersebut.

Kesimpulan

NVIDIA Cosmos3-Nano adalah model dunia omnimodal terbuka 16B untuk Physical AI. Nilainya bukan hanya bahwa ia dapat menghasilkan video, gambar, audio, teks, dan aksi. Nilainya adalah bahwa kemampuan-kemampuan tersebut berada di dalam keluarga model yang dibangun untuk bernalar tentang lingkungan fisik.

Jika Anda membangun alat kreator, Cosmos3-Nano mungkin kurang langsung berguna dibandingkan Seedance, Kling, Runway, atau Veo. Jika Anda membangun alur kerja robotika, dataset sistem otonom, persepsi ruang pintar, atau data pelatihan dunia fisik sintetis, ini adalah salah satu rilis terpenting untuk diuji bulan ini.

Ide besarnya sederhana: pembuatan AI bergerak dari kreasi media menuju simulasi dunia fisik. Cosmos3-Nano adalah titik masuk terbuka NVIDIA ke dalam pergeseran tersebut.

Sumber

• nvidia/Cosmos3-Nano di Hugging Face
• NVIDIA meluncurkan Cosmos 3 untuk Physical AI
• Blog Teknis NVIDIA: Kembangkan Physical AI dengan Cosmos 3