WaveSpeedAI
← 博客

NVIDIA Cosmos3-Nano 是什么？面向物理AI的160亿参数全模态世界模型

NVIDIA Cosmos3-Nano 是一个面向物理AI的160亿参数全模态世界模型，将推理、视频、音频、图像和动作生成集于一体的开放模型。

By WaveSpeedAI 3 min read
#nvidia #cosmos3 #cosmos3-nano #world-model #physical-ai #ai-video #robotics

NVIDIA 刚刚在 Hugging Face 上发布了 Cosmos3-Nano，这不是一个普通的文本生成视频检查点。它是一个拥有 160 亿参数的全模态世界模型，专为 Physical AI 设计：机器人技术、自动驾驶、智能空间、工业环境、仿真以及动作推理。

简而言之：Cosmos3-Nano 可以接受文本、图像、视频、音频和动作轨迹的组合作为输入，然后生成文本、图像、视频、音频或动作输出。这使它更接近于物理世界操作模型，而非单一用途的图像或视频生成器。

你可以在此处阅读模型卡：nvidia/Cosmos3-Nano on Hugging Face。NVIDIA 还在其新闻室发布了更广泛的 Cosmos 3 公告，并在 NVIDIA 技术博客上发布了实用的开发者概览。

Cosmos3-Nano 是什么

Cosmos3-Nano 是 NVIDIA Cosmos 3 系列中较小的版本。“Nano”在通常的开放模型意义上并不意味着微小。模型卡将其列为拥有 160 亿可训练参数，支持 BF16 权重，并通过 NVIDIA 的 Cosmos 框架、vLLM-Omni、vLLM、PyTorch 和 Hugging Face Diffusers 提供支持。

该模型在 OpenMDW 1.1 许可证下发布，模型卡表示可用于商业和非商业用途。NVIDIA 在 Hugging Face 和 GitHub 上将发布日期列为 2026 年 5 月 31 日。

重要的是模型类型。Cosmos3-Nano 是一个全模态世界模型：

  • 它可以对物理场景进行推理。
  • 它可以生成视频和图像输出。
  • 它可以生成混合到视频中的环境音频。
  • 它可以生成动作轨迹或以动作轨迹为条件。
  • 它可以支持未来状态预测和具身策略工作流。

这使它与 Veo、Runway、Seedance 或 Kling 等模型处于不同的类别。这些模型主要是创意视频模型。Cosmos3-Nano 面向需要模型理解、模拟并在物理环境中行动的开发者。

为何重要

大多数生成式视频模型回答的是创意问题：

这个场景应该是什么样子？

Cosmos3-Nano 试图回答的是 Physical AI 问题：

这个场景中发生了什么，接下来可能发生什么，应该采取什么动作？

这一区别对于机器人和自动驾驶系统至关重要。仓库机器人、配送车辆、工厂摄像头或具身智能体不仅需要精美的视频，它们需要有用的世界内部模型。

例如：

  • 机械臂需要理解物体被抓取时如何移动。
  • 自动驾驶车辆需要在不断变化的道路条件下进行未来状态预测。
  • 智能空间系统需要对固定摄像头画面中的活动进行推理。
  • 仿真流水线需要保持物理合理性的合成数据。
  • 机器人策略模型需要动作轨迹，而不仅仅是视觉帧。

Cosmos3-Nano 是 NVIDIA 将这些能力整合到一个开放模型系列中的尝试。

架构：Transformer 混合专家

NVIDIA 将 Cosmos 3 描述为Transformer 混合专家架构。该模型结合了两个互补的 Transformer 系统：

组件作用
自回归 Transformer生成离散 token，例如文本
扩散 Transformer生成连续模态，例如图像、视频、音频和动作

这是一种务实的设计。文本生成和视频生成不需要相同的解码过程。文本适合使用下一个 token 的自回归解码。图像、视频和音频通常更适合作为去噪问题处理。

该架构将两种机制保留在一个模型框架中，因此 Cosmos3 可以跨异构模态进行推理和生成，而无需假装每种输出都应以相同方式解码。

这就是 Cosmos3-Nano 与”视频模型加字幕生成器”技术栈感觉不同的技术原因。目标不是将视觉语言模型拼接到生成器上，而是构建一个统一的 Physical AI 模型，能够推理、生成和行动。

输入输出能力

根据模型卡，Cosmos3-Nano 支持广泛的输入和输出范围。

生成器输入：

  • 文本
  • 图像
  • 有或无音频的视频
  • 动作轨迹

生成器输出：

  • 图像
  • 视频
  • 音频
  • 动作
  • 文本

模型卡列出了常见的图像和视频格式，如 JPG、PNG、WEBP 和 MP4。视频输入可以是 256p、480p 或 720p，生成器路径的输入视频最多 5 帧。音频输入较短，最大长度为 0.5 秒。动作输入涵盖多种具身形式，包括相机运动、自动驾驶车辆、以自我为中心的运动、Franka 机械臂、Agibot、UR、Google 机器人、WidowX 250 和 UMI。

对于输出，生成的视频为 MP4 格式。生成的音频编码为 AAC 并混入视频文件。视频生成可以运行 5 到 400 帧，默认生成时长列为 189 帧。

这种组合不同寻常。大多数公开视频模型提供文本生成视频和图像生成视频功能。Cosmos3-Nano 提供了一套更面向 Physical AI 的控制，包括以动作为条件的生成和动作预测。

开发者可以用它构建什么

当产品不是消费者视频编辑器时，Cosmos3-Nano 最为有趣。

合成数据生成

Physical AI 系统需要覆盖边缘案例的数据。真实世界的数据收集成本高、速度慢，有时还不安全。Cosmos3-Nano 可以帮助生成场景、未来状态和物理交互，以扩充真实数据集。

这并不意味着合成数据可以取代真实数据，而是意味着团队可以扩展对罕见天气、异常物体布局、长尾交通状况、仓库交互或机器人操作状态的覆盖。

未来状态预测

世界模型应该有助于估计接下来会发生什么。如果摄像头看到一辆行驶中的车辆、一个在传送带上滑动的箱子或一个靠近物体的机械臂，该模型可以作为预测工作流的一部分使用。

NVIDIA 在安全方面非常谨慎。Cosmos3 的输出不应被视为经过认证的物理真理。对于自动驾驶系统，生成的预测需要外部约束、验证和系统级保护措施。

机器人动作推理

动作轨迹支持是最重要的差异化因素。Cosmos3-Nano 可以以动作序列为条件生成物理展开，或从视觉上下文推断类似动作的输出。

这使其与以下领域相关：

  • 机器人策略开发
  • 操作规划
  • 逆动力学实验
  • 具身智能体的数据增强
  • 仿真到现实的研究

同样，这是一个研究和开发的构建块，而非即插即用的安全控制器。

物理场景的视频和音频生成

Cosmos3-Nano 还可以生成带有环境声音的视频。模型卡包含通过本地 vLLM-Omni 端点进行文本生成视频、图像生成视频、文本生成视频加音频以及图像生成视频加音频的示例。

对于内容创作者来说，这可能听起来像是 Kling 或 Seedance 等视频模型的竞争对手。但更强的使用场景是物理场景生成：道路、仓库、机器人、室内空间、摄像头、物体运动以及物理一致性比风格化电影输出更重要的环境。

如何运行 Cosmos3-Nano

Hugging Face 卡展示了三条主要路径：

  • NVIDIA Cosmos 框架
  • vLLM-Omni 服务
  • Hugging Face Diffusers

对于部署，NVIDIA 推荐使用 vLLM-Omni 作为兼容 OpenAI 的 API 端点。典型的服务命令如下：

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

对于简单的 Diffusers 实验，Hugging Face 卡还提供了熟悉的 pipeline 模式：

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

对于严肃的视频或动作工作流，请使用 Cosmos 框架示例，而不是将其视为通用的文本生成图像模型。高级示例依赖于 JSON 上采样提示、负面提示、多部分请求以及特定于模型的参数，如帧数、FPS、推理步骤、引导比例和动作元数据。

硬件和部署注意事项

这不是一个笔记本电脑玩具模型。模型卡列出 GB200 和 H100 作为测试硬件，NVIDIA Ampere、Hopper 和 Blackwell 作为支持的硬件微架构系列。官方仅测试了 BF16 精度。

模型卡还表示，截至撰写本文时，该模型未通过 Hugging Face 推理提供商部署。实际上，这意味着大多数开发者将通过本地 NVIDIA GPU 基础设施、自定义托管推理、NIM 风格部署或支持落地后的专用 API 提供商来评估它。

对于构建生产系统的团队来说，部署问题不仅仅是”我能运行它吗”，还包括：

  • 我能否将延迟控制在任务所需的足够低的水平？
  • 我是否能负担得起目标分辨率和帧数所需的 GPU 内存？
  • 我能否针对特定领域的约束验证输出？
  • 我能否记录提示、输入、种子、生成输出和动作元数据以供审查？
  • 当生成的世界状态不确定时，我能否安全失败？

Cosmos3-Nano 是开放的，但 Physical AI 部署仍然需要严肃的基础设施。

Cosmos3-Nano 与创意视频模型的比较

不应仅按照消费者视频生成器的相同标准来评估 Cosmos3-Nano。

模型类型主要目标最佳适用场景
创意视频模型生成吸引人的片段广告、社交视频、电影 B-roll
多模态视频编辑器使用混合输入修改媒体创作者工作流、产品内容
世界模型推理和模拟物理场景机器人、自动驾驶、智能空间、合成数据
动作模型预测或生成控制轨迹具身策略学习

Seedance、Kling、Runway 和 Veo 仍然是面向创作者的视频质量的更好参考。当生成的场景必须与物理推理或动作相关联时，Cosmos3-Nano 更具相关性。

这就是此次发布重要的原因。市场正在分化。AI 视频是一个分支，Physical AI 世界模型是另一个分支。

局限性与安全

NVIDIA 的模型卡明确指出，Cosmos3 的输出不应被视为物理精确的仿真、真实推理或经过安全认证的决策。

这是正确的警告。生成的未来状态作为假设可能有用，但它不是经过验证的测量结果。生成的动作对于研究可能有用，但它不是自动安全的控制。合成场景可以帮助扩展数据集，但它仍然可能包含偏差、缺失案例或物理上不合理的细节。

生产团队应将 Cosmos3-Nano 与以下内容配合使用：

  • 领域验证
  • 在精确物理重要的场合使用传统仿真器
  • 安全过滤器和保护措施
  • 对高风险输出进行人工审查
  • 真实世界评估数据
  • 预测不确定时的回退方案

该模型之所以强大，是因为它统一了多种模态。这也意味着错误可以跨模态传播。如果推理步骤误读了一个场景，生成的视频、音频或动作可能会继承该错误。

为何这对 AI 平台重要

Cosmos3-Nano 指向了更广泛的转变：模型 API 正在从文本、图像和视频端点向世界状态 API 演进。

未来的 AI 平台不仅会提供：

generate_image(prompt)
generate_video(prompt)

它们将提供更高层次的 Physical AI 任务：

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

对于开发者而言，这意味着模型路由变得更加重要。TikTok 广告的请求应该发送到快速的创意视频模型。仓库机器人合成数据的请求应该发送到 Physical AI 世界模型。受控动作展开的请求应该使用具有动作感知能力的模型，而不是通用的图像生成视频端点。

Cosmos3-Nano 是该下一类别最清晰的公开示例之一。

最终看法

NVIDIA Cosmos3-Nano 是一个用于 Physical AI 的 160 亿参数开放全模态世界模型。它的价值不仅在于它可以生成视频、图像、音频、文本和动作，还在于这些能力存在于一个专为物理环境推理而构建的模型系列中。

如果你正在构建创作者工具，Cosmos3-Nano 可能不如 Seedance、Kling、Runway 或 Veo 那么立即有用。如果你正在构建机器人工作流、自动驾驶系统数据集、智能空间感知或合成物理世界训练数据，它是本月最值得测试的重要版本之一。

核心理念很简单：AI 生成正在从媒体创作向物理世界仿真转变。Cosmos3-Nano 是 NVIDIA 进入这一转变的开放切入点。

来源

分享