WaveSpeedAI
← 部落格

什麼是 NVIDIA Cosmos3-Nano？用於物理AI的160億參數全模態世界模型

NVIDIA Cosmos3-Nano 是一個用於物理AI的160億參數全模態世界模型，將推理、影片、音訊、圖像和動作生成整合於單一開放模型中。

By WaveSpeedAI 3 min read
#nvidia #cosmos3 #cosmos3-nano #world-model #physical-ai #ai-video #robotics

NVIDIA 剛在 Hugging Face 上發布了 Cosmos3-Nano，這不是一個普通的文字轉影片檢查點。它是一個專為 Physical AI 設計的 160 億參數全模態世界模型，涵蓋機器人、自動駕駛車輛、智慧空間、工業環境、模擬以及動作推理。

簡而言之：Cosmos3-Nano 能接受文字、圖像、影片、音訊及動作軌跡的組合作為輸入，並產生文字、圖像、影片、音訊或動作輸出。這使它更接近一個物理世界操作模型，而非單一用途的圖像或影片生成器。

你可以在此查閱模型卡：nvidia/Cosmos3-Nano on Hugging Face。NVIDIA 也在其新聞室發布了更廣泛的 Cosmos 3 公告，並在 NVIDIA 技術部落格上提供了實用的開發者概覽。

Cosmos3-Nano 是什麼

Cosmos3-Nano 是 NVIDIA Cosmos 3 系列中較小的發布版本。「Nano」在通常的開放模型意義上並不代表微小。模型卡列出其具有 160 億個可訓練參數，使用 BF16 權重，並透過 NVIDIA 的 Cosmos 框架、vLLM-Omni、vLLM、PyTorch 以及 Hugging Face Diffusers 提供支援。

該模型在 OpenMDW 1.1 授權下發布，模型卡表示可供商業和非商業用途使用。NVIDIA 在 Hugging Face 和 GitHub 上列出的發布日期為 2026 年 5 月 31 日。

重要的是模型類型。Cosmos3-Nano 是一個全能世界模型：

  • 它能對物理場景進行推理。
  • 它能生成影片和圖像輸出。
  • 它能生成混合進影片的環境音訊。
  • 它能生成動作軌跡或以其為條件進行生成。
  • 它能支援未來狀態預測和具身策略工作流程。

這使它與 Veo、Runway、Seedance 或 Kling 等模型屬於不同類別。那些主要是創意影片模型。Cosmos3-Nano 面向需要模型來理解、模擬並在物理環境中行動的開發者。

為何重要

大多數生成式影片模型回答的是一個創意問題：

這個場景應該是什麼樣子？

Cosmos3-Nano 嘗試回答的是一個 Physical AI 問題：

這個場景中發生了什麼，接下來可能發生什麼，以及應該採取什麼行動？

這種區別對機器人和自動駕駛系統至關重要。倉庫機器人、送貨車輛、工廠攝影機或具身智慧體不僅需要漂亮的影片，它需要對世界有用的內部模型。

舉例而言：

  • 機械臂需要理解物體在被抓握時如何移動。
  • 自動駕駛車輛需要在變化的道路條件下進行未來狀態預測。
  • 智慧空間系統需要對固定攝影機畫面中的活動進行推理。
  • 模擬管線需要能保持物理合理性的合成數據。
  • 機器人策略模型需要動作軌跡，而不僅僅是視覺幀。

Cosmos3-Nano 是 NVIDIA 嘗試將這些能力整合到一個開放模型系列下的成果。

架構：Mixture-of-Transformers

NVIDIA 將 Cosmos 3 描述為一種 Mixture-of-Transformers 架構。該模型結合了兩個互補的 Transformer 系統：

元件角色
自迴歸 Transformer生成離散 token，例如文字
擴散 Transformer生成連續模態，例如圖像、影片、音訊和動作

這是一個務實的設計。文字生成和影片生成需要不同的解碼過程。文字適合使用下一個 token 的自迴歸解碼，而圖像、影片和音訊通常更適合作為去噪問題來處理。

該架構在一個模型框架中保留了兩種機制，因此 Cosmos3 能夠在異質模態之間進行推理和生成，而無需假裝每種輸出都應以相同方式解碼。

這就是 Cosmos3-Nano 感覺與「影片模型加字幕器」技術棧不同的技術原因。目標不是將視覺語言模型拼接到生成器上，而是一個能夠推理、生成和行動的統一 Physical AI 模型。

輸入與輸出能力

根據模型卡，Cosmos3-Nano 支援廣泛的輸入和輸出介面。

生成器輸入：

  • 文字
  • 圖像
  • 有或無音訊的影片
  • 動作軌跡

生成器輸出：

  • 圖像
  • 影片
  • 音訊
  • 動作
  • 文字

模型卡列出了常見的圖像和影片格式，如 JPG、PNG、WEBP 和 MP4。影片輸入可為 256p、480p 或 720p，生成器路徑的輸入影片上限為 5 幀。音訊輸入較短，最大長度為 0.5 秒。動作輸入涵蓋多種具身形態，包括相機運動、自動駕駛車輛、以自我為中心的運動、Franka 機械臂、Agibot、UR、Google 機器人、WidowX 250 和 UMI。

在輸出方面，生成的影片為 MP4 格式。生成的音訊以 AAC 編碼並混合進影片檔案。影片生成可從 5 幀到 400 幀，預設生成時長列為 189 幀。

這種組合並不尋常。大多數公開影片模型提供文字轉影片和圖像轉影片功能。Cosmos3-Nano 提供了一套更偏向 Physical AI 的控制介面，包括以動作為條件的生成和動作預測。

開發者可以用它構建什麼

當產品不是消費者影片編輯器時，Cosmos3-Nano 最為有趣。

合成數據生成

Physical AI 系統需要涵蓋邊緣案例的數據。真實世界的採集成本高昂、速度緩慢，有時甚至不安全。Cosmos3-Nano 可以幫助生成場景、未來狀態和物理互動，以擴充真實數據集。

這並不意味著合成數據取代真實數據，而是說團隊可以擴大對罕見天氣、異常物體排列、長尾交通情況、倉庫互動或機器人操作狀態的覆蓋範圍。

未來狀態預測

世界模型應該有助於估計接下來會發生什麼。如果攝影機看到一輛移動的車輛、傳送帶上滑動的箱子，或機械臂靠近某個物體，該模型可以作為預測工作流程的一部分。

NVIDIA 在安全方面非常謹慎。Cosmos3 的輸出不應被視為經認證的物理事實。對於自動駕駛系統，生成的預測需要外部約束、驗證和系統級防護措施。

機器人動作推理

動作軌跡支援是最重要的差異化特點。Cosmos3-Nano 可以以動作序列為條件生成物理展開，或從視覺上下文推斷類似動作的輸出。

這使其與以下領域相關：

  • 機器人策略開發
  • 操作規劃
  • 逆向動力學實驗
  • 具身智慧體的數據增強
  • 模擬到真實的研究

同樣，這是一個研究和開發的構建模組，而非即插即用的安全控制器。

物理場景的影片與音訊生成

Cosmos3-Nano 還可以生成帶有環境聲音的影片。模型卡包含了透過本地 vLLM-Omni 端點進行文字轉影片、圖像轉影片、文字轉影片加音訊以及圖像轉影片加音訊的範例。

對於內容創作者來說，這聽起來可能像是 Kling 或 Seedance 等影片模型的競爭對手。但更強的使用案例是物理場景生成：道路、倉庫、機器人、室內空間、攝影機、物體運動，以及物理一致性比風格化電影輸出更重要的環境。

如何運行 Cosmos3-Nano

Hugging Face 卡展示了三條主要路徑：

  • NVIDIA Cosmos 框架
  • vLLM-Omni 服務
  • Hugging Face Diffusers

對於部署，NVIDIA 推薦使用 vLLM-Omni 提供相容 OpenAI 的 API 端點。一個典型的服務命令如下：

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

對於簡單的 Diffusers 實驗，Hugging Face 卡也提供了熟悉的 pipeline 模式：

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

對於嚴肅的影片或動作工作流程，請使用 Cosmos 框架範例，而非將其視為通用文字轉圖像模型。進階範例依賴 JSON 上採樣提示、負面提示、多部分請求以及模型特定參數，如幀數、FPS、推斷步驟、引導比例和動作元數據。

硬體與部署注意事項

這不是一個筆電玩具模型。模型卡列出 GB200 和 H100 為測試硬體，支援的硬體微架構系列為 NVIDIA Ampere、Hopper 和 Blackwell。官方僅測試 BF16 精度。

模型卡還表示，在撰寫本文時，該模型未由 Hugging Face 推斷提供商部署。實際上，這意味著大多數開發者將透過本地 NVIDIA GPU 基礎設施、自訂託管推斷、NIM 式部署，或在支援落地後透過專門的 API 提供商來評估它。

對於構建生產系統的團隊而言，部署問題不僅僅是「我能運行它嗎？」而是：

  • 我能將延遲控制在足夠低的水準以完成任務嗎？
  • 我能負擔得起目標解析度和幀數所需的 GPU 記憶體嗎？
  • 我能根據特定領域的約束驗證輸出嗎？
  • 我能記錄提示、輸入、種子、生成輸出和動作元數據以供審查嗎？
  • 當生成的世界狀態不確定時，我能安全失敗嗎？

Cosmos3-Nano 是開放的，但 Physical AI 部署仍需要嚴肅的基礎設施。

Cosmos3-Nano 與創意影片模型的比較

Cosmos3-Nano 不應僅用與消費者影片生成器相同的標準來評估。

模型類型主要目標最佳應用
創意影片模型生成吸引人的片段廣告、社群影片、電影補充鏡頭
多模態影片編輯器使用混合輸入修改媒體創作者工作流程、產品內容
世界模型對物理場景進行推理和模擬機器人、自動駕駛、智慧空間、合成數據
動作模型預測或生成控制軌跡具身策略學習

Seedance、Kling、Runway 和 Veo 對於面向創作者的影片品質仍是更好的參考。Cosmos3-Nano 在生成場景必須與物理推理或動作相連接時更為相關。

這就是此次發布的重要性所在。市場正在分裂。AI 影片是一個分支，Physical AI 世界模型是另一個分支。

限制與安全

NVIDIA 的模型卡明確指出，Cosmos3 的輸出不應被視為物理精確的模擬、真實的推理或經安全認證的決策。

這是正確的警告。生成的未來狀態可以作為假設使用，但它不是經過驗證的測量。生成的動作可以用於研究，但它不是自動安全的控制。合成場景可以幫助擴充數據集，但它仍可能包含偏見、缺失案例或物理上不合理的細節。

生產團隊應將 Cosmos3-Nano 與以下內容配合使用：

  • 領域驗證
  • 在需要精確物理的場合使用傳統模擬器
  • 安全過濾器和防護措施
  • 對高風險輸出進行人工審查
  • 真實世界評估數據
  • 在預測不確定時的備援方案

該模型之所以強大，是因為它統一了各種模態。這也意味著錯誤可能跨模態傳播。如果推理步驟錯誤解讀了一個場景，生成的影片、音訊或動作可能會繼承該錯誤。

為何這對 AI 平台重要

Cosmos3-Nano 指向一個更廣泛的轉變：模型 API 正在從文字、圖像和影片端點演進為世界狀態 API。

未來的 AI 平台不只是提供：

generate_image(prompt)
generate_video(prompt)

它們將提供更高層次的 Physical AI 任務：

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

對於開發者而言，這意味著模型路由變得更加重要。一個 TikTok 廣告的請求應該發送到快速的創意影片模型。一個倉庫機器人合成數據的請求應該發送到 Physical AI 世界模型。一個受控動作展開的請求應該使用具有動作感知能力的模型，而非通用的圖像轉影片端點。

Cosmos3-Nano 是該下一個類別中最清晰的公開範例之一。

最終看法

NVIDIA Cosmos3-Nano 是一個用於 Physical AI 的 160 億參數開放全模態世界模型。它的價值不僅在於它能生成影片、圖像、音訊、文字和動作，更在於這些能力都存在於一個專為物理環境推理而構建的模型系列中。

如果你在構建創作者工具，Cosmos3-Nano 可能不如 Seedance、Kling、Runway 或 Veo 來得直接有用。如果你在構建機器人工作流程、自動駕駛系統數據集、智慧空間感知，或合成物理世界訓練數據，它是本月最值得測試的重要發布之一。

核心理念很簡單：AI 生成正在從媒體創作轉向物理世界模擬。Cosmos3-Nano 是 NVIDIA 進入這一轉變的開放入口。

參考資料

分享