Что такое NVIDIA Cosmos3-Nano? 16B омни-модель мира для физического ИИ

NVIDIA только что выпустила Cosmos3-Nano на Hugging Face, и это не обычный чекпоинт для генерации видео из текста. Это омнимодальная модель мира с 16 миллиардами параметров, разработанная для физического ИИ: робототехники, автономных транспортных средств, умных пространств, промышленных сред, симуляции и рассуждений о действиях.

Если кратко: Cosmos3-Nano может принимать на вход комбинации текста, изображений, видео, аудио и траекторий действий, а затем генерировать текст, изображения, видео, аудио или выходные данные для действий. Это делает её скорее операционной моделью физического мира, чем специализированным генератором изображений или видео.

Карточку модели можно прочитать здесь: nvidia/Cosmos3-Nano на Hugging Face. NVIDIA также опубликовала более широкое объявление о Cosmos 3 в своём пресс-центре и практический обзор для разработчиков в техническом блоге NVIDIA.

Что такое Cosmos3-Nano

Cosmos3-Nano — меньший релиз в семействе NVIDIA Cosmos 3. «Nano» здесь не означает «крошечный» в обычном смысле открытых моделей. В карточке модели указано 16 миллиардов обучаемых параметров, веса BF16 и поддержка через фреймворк NVIDIA Cosmos, vLLM-Omni, vLLM, PyTorch и Hugging Face Diffusers.

Модель выпущена под лицензией OpenMDW 1.1, и в карточке указано, что она готова для коммерческого и некоммерческого использования. NVIDIA указывает дату релиза — 31 мая 2026 года — на Hugging Face и GitHub.

Важна сама природа модели. Cosmos3-Nano — это омнимодельная модель мира:

• Она может рассуждать о физических сценах.
• Она может генерировать видео и изображения.
• Она может генерировать окружающий звук, смикшированный в видео.
• Она может генерировать траектории действий или обусловливаться ими.
• Она поддерживает предсказание будущих состояний и воплощённые политики поведения.

Это ставит её в другую категорию по сравнению с такими моделями, как Veo, Runway, Seedance или Kling. Те — прежде всего творческие видеомодели. Cosmos3-Nano ориентирована на разработчиков, которым нужна модель, способная понимать, симулировать и действовать в физических средах.

Почему это важно

Большинство генеративных видеомоделей отвечают на творческий вопрос:

Как должна выглядеть эта сцена?

Cosmos3-Nano пытается ответить на вопрос физического ИИ:

Что происходит в этой сцене, что может произойти дальше и какое действие должно последовать?

Это различие важно для робототехники и автономных систем. Складскому роботу, транспортному средству доставки, заводской камере или воплощённому агенту нужно не только красивое видео. Им нужна полезная внутренняя модель мира.

Например:

• Рука робота должна понимать, как объекты движутся при захвате.
• Автономному транспортному средству нужно предсказывать будущие состояния в изменяющихся дорожных условиях.
• Система умного пространства должна рассуждать об активности в записях с неподвижных камер.
• Симуляционный конвейер нуждается в синтетических данных, сохраняющих физическую правдоподобность.
• Модели политики роботов нужны траектории действий, а не только визуальные кадры.

Cosmos3-Nano — это попытка NVIDIA объединить все эти возможности под одним открытым семейством моделей.

Архитектура: Mixture-of-Transformers

NVIDIA описывает Cosmos 3 как архитектуру Mixture-of-Transformers. Модель объединяет две взаимодополняющие трансформерные системы:

Компонент	Роль
Авторегрессивный трансформер	Генерирует дискретные токены, например текст
Диффузионный трансформер	Генерирует непрерывные модальности: изображения, видео, аудио и действия

Это прагматичное решение. Генерация текста и генерация видео требуют разных процессов декодирования. Текст хорошо работает с авторегрессивным декодированием по одному токену. Изображения, видео и аудио часто лучше формулировать как задачи шумоподавления.

Архитектура сохраняет оба механизма в одном фреймворке модели, поэтому Cosmos3 может рассуждать и генерировать в разнородных модальностях, не делая вид, что каждый выход должен декодироваться одинаково.

Именно поэтому Cosmos3-Nano технически отличается от связки «видеомодель плюс описатель». Цель — не прикрутить языковую модель к генератору. Цель — единая модель физического ИИ, способная рассуждать, генерировать и действовать.

Возможности ввода и вывода

Согласно карточке модели, Cosmos3-Nano поддерживает широкий набор входных и выходных данных.

Входные данные для генератора:

• текст
• изображение
• видео с аудио или без
• траектория действий

Выходные данные генератора:

• изображение
• видео
• аудио
• действие
• текст

В карточке модели перечислены распространённые форматы изображений и видео: JPG, PNG, WEBP и MP4. Видеовходы могут быть разрешением 256p, 480p или 720p, а входное видео ограничено 5 кадрами для пути генератора. Аудиовходы короткие — максимальная длина 0,5 секунды. Входные данные для действий охватывают множество воплощений: движение камеры, автономные транспортные средства, эгоцентрическое движение, манипуляторы Franka, Agibot, UR, робот Google, WidowX 250 и UMI.

На выходе сгенерированное видео — в формате MP4. Сгенерированное аудио кодируется как AAC и микшируется в видеофайл. Генерация видео может занимать от 5 до 400 кадров, а длина генерации по умолчанию составляет 189 кадров.

Такая комбинация необычна. Большинство публичных видеомоделей предлагают генерацию видео из текста и из изображения. Cosmos3-Nano предлагает более ориентированный на физический ИИ набор управляющих воздействий, включая генерацию, обусловленную действиями, и предсказание действий.

Что разработчики могут создать с её помощью

Cosmos3-Nano наиболее интересна, когда конечный продукт — не потребительский видеоредактор.

Генерация синтетических данных

Системы физического ИИ нуждаются в данных, охватывающих граничные случаи. Сбор данных в реальном мире дорог, медленен и иногда небезопасен. Cosmos3-Nano может помочь генерировать сцены, будущие состояния и физические взаимодействия, дополняя реальные наборы данных.

Это не означает, что синтетические данные заменяют реальные. Это означает, что команды могут расширить охват для редкой погоды, необычного расположения объектов, нетипичных дорожных ситуаций, складских взаимодействий или состояний манипуляции роботов.

Предсказание будущих состояний

Модель мира должна помогать оценивать, что произойдёт дальше. Если камера видит движущееся транспортное средство, ящик, скользящий по конвейеру, или руку робота, приближающуюся к объекту, модель можно использовать как часть прогнозного рабочего процесса.

NVIDIA осторожна в вопросах безопасности. Выходные данные Cosmos3 не следует рассматривать как сертифицированную физическую истину. Для автономных систем сгенерированные предсказания нуждаются во внешних ограничениях, валидации и защитных механизмах на системном уровне.

Рассуждение о действиях роботов

Поддержка траекторий действий — наиболее важный отличительный признак. Cosmos3-Nano может обусловливаться последовательностями действий и генерировать физические разворачивания или выводить похожие на действия выходные данные из визуального контекста.

Это делает её актуальной для:

• разработки политики роботов
• планирования манипуляций
• экспериментов с обратной динамикой
• аугментации данных для воплощённых агентов
• исследований перехода из симуляции в реальность

Ещё раз: это строительный блок для исследований и разработки, а не готовый контроллер безопасности.

Генерация видео и аудио для физических сцен

Cosmos3-Nano также может генерировать видео с окружающим звуком. Карточка модели содержит примеры генерации видео из текста, видео из изображения, видео с аудио из текста и видео с аудио из изображения через локальный эндпоинт vLLM-Omni.

Для создателей контента это может звучать как конкурент таким видеомоделям, как Kling или Seedance. Но более сильный вариант использования — генерация физических сцен: дороги, склады, роботы, внутренние пространства, камеры, движение объектов и среды, где физическая согласованность важнее стилизованного кинематографического вывода.

Как запустить Cosmos3-Nano

Карточка на Hugging Face показывает три основных пути:

• Фреймворк NVIDIA Cosmos
• Сервинг через vLLM-Omni
• Hugging Face Diffusers

Для развёртывания NVIDIA рекомендует vLLM-Omni для совместимого с OpenAI API эндпоинта. Типичная команда запуска сервера выглядит следующим образом:

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

Для простых экспериментов с Diffusers карточка на Hugging Face также предоставляет знакомый паттерн pipeline:

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

Для серьёзных рабочих процессов с видео или действиями используйте примеры из фреймворка Cosmos, а не рассматривайте модель как обычный преобразователь текста в изображение. Продвинутые примеры опираются на промпты, дополненные JSON, негативные промпты, составные запросы и специфические для модели параметры: количество кадров, FPS, шаги вывода, масштаб направления и метаданные действий.

Заметки по аппаратному обеспечению и развёртыванию

Это не игрушечная модель для ноутбука. В карточке модели в качестве тестового оборудования указаны GB200 и H100, а поддерживаемыми микроархитектурами являются NVIDIA Ampere, Hopper и Blackwell. Официально протестирована только точность BF16.

В карточке также указано, что на момент написания модель не развёрнута через поставщика инференса Hugging Face. На практике это означает, что большинство разработчиков будут оценивать её через локальную инфраструктуру NVIDIA GPU, собственный размещённый инференс, развёртывание в стиле NIM или специализированного провайдера API, как только появится поддержка.

Для команд, создающих производственные системы, вопрос развёртывания — не только «могу ли я запустить это?». Это:

• Могу ли я обеспечить достаточно низкую задержку для задачи?
• Могу ли я обеспечить достаточно памяти GPU для целевого разрешения и количества кадров?
• Могу ли я валидировать выходные данные относительно специфических для предметной области ограничений?
• Могу ли я вести журнал промптов, входных данных, сидов, сгенерированных выходных данных и метаданных действий для проверки?
• Могу ли я безопасно обработать сбой, когда сгенерированное состояние мира неопределённо?

Cosmos3-Nano открыта, но развёртывание физического ИИ по-прежнему требует серьёзной инфраструктуры.

Сравнение Cosmos3-Nano с творческими видеомоделями

Cosmos3-Nano не следует оценивать только по тем же критериям, что и потребительские видеогенераторы.

Тип модели	Основная цель	Лучшее применение
Творческая видеомодель	Генерировать привлекательные клипы	реклама, социальное видео, кинематографическое b-roll
Мультимодальный видеоредактор	Редактировать медиа со смешанными входными данными	рабочие процессы создателей, контент о продуктах
Модель мира	Рассуждать о физических сценах и симулировать их	робототехника, автономные транспортные средства, умные пространства, синтетические данные
Модель действий	Предсказывать или генерировать траектории управления	обучение воплощённой политики

Seedance, Kling, Runway и Veo по-прежнему остаются лучшими ориентирами для качества видео для создателей. Cosmos3-Nano более актуальна, когда сгенерированная сцена должна быть связана с физическим рассуждением или действием.

Именно поэтому этот релиз важен. Рынок разделяется. ИИ-видео — одна ветвь. Модели мира физического ИИ — другая.

Ограничения и безопасность

Карточка модели NVIDIA явно указывает, что выходные данные Cosmos3 не следует рассматривать как физически точную симуляцию, обоснованное рассуждение или сертифицированное принятие решений в области безопасности.

Это правильное предупреждение. Сгенерированное будущее состояние может быть полезно как гипотеза, но это не верифицированное измерение. Сгенерированное действие может быть полезно для исследований, но это не автоматически безопасное управление. Синтетическая сцена может помочь расширить набор данных, но она всё равно может содержать предвзятость, пропущенные случаи или физически неправдоподобные детали.

Производственным командам следует сочетать Cosmos3-Nano с:

• валидацией в предметной области
• традиционными симуляторами, где точная физика имеет значение
• фильтрами безопасности и защитными механизмами
• проверкой человеком для высокорискованных выходных данных
• данными оценки в реальном мире
• запасными вариантами при неопределённости предсказаний

Модель мощна именно потому, что объединяет модальности. Это также означает, что ошибки могут распространяться между модальностями. Если шаг рассуждения неверно интерпретирует сцену, сгенерированное видео, аудио или действие может унаследовать эту ошибку.

Почему это важно для ИИ-платформ

Cosmos3-Nano указывает на более широкий сдвиг: API моделей выходят за рамки эндпоинтов для текста, изображений и видео в API состояния мира.

Будущие ИИ-платформы будут предоставлять не только:

generate_image(prompt)
generate_video(prompt)

Они будут предоставлять более высокоуровневые задачи физического ИИ:

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

Для разработчиков это означает, что маршрутизация моделей становится всё важнее. Запрос на рекламный ролик для TikTok должен идти к быстрой творческой видеомодели. Запрос на синтетические данные для складского робота должен идти к модели мира физического ИИ. Запрос на контролируемое разворачивание действий должен использовать модель, осведомлённую о действиях, а не обычный эндпоинт для преобразования изображения в видео.

Cosmos3-Nano — один из наиболее ярких публичных примеров этой следующей категории.

Итоговая оценка

NVIDIA Cosmos3-Nano — это открытая омнимодальная модель мира с 16 миллиардами параметров для физического ИИ. Её ценность заключается не только в том, что она может генерировать видео, изображения, аудио, текст и действия. Её ценность в том, что все эти возможности существуют внутри семейства моделей, созданного для рассуждений о физических средах.

Если вы создаёте инструменты для создателей контента, Cosmos3-Nano может быть менее сразу полезной, чем Seedance, Kling, Runway или Veo. Если вы создаёте рабочие процессы для робототехники, наборы данных для автономных систем, восприятие умных пространств или синтетические обучающие данные о физическом мире — это один из наиболее важных релизов для тестирования в этом месяце.

Главная идея проста: генерация с помощью ИИ движется от создания медиаконтента к симуляции физического мира. Cosmos3-Nano — открытая точка входа NVIDIA в этот переход.

Источники

• nvidia/Cosmos3-Nano на Hugging Face
• NVIDIA запускает Cosmos 3 для физического ИИ
• Технический блог NVIDIA: разработка физического ИИ с Cosmos 3