O Que É o NVIDIA Cosmos3-Nano? O Modelo de Mundo Omni de 16B para IA Física

A NVIDIA acaba de lançar o Cosmos3-Nano no Hugging Face, e não se trata de um checkpoint comum de texto para vídeo. É um modelo de mundo omnimodal com 16 bilhões de parâmetros, projetado para Physical AI: robótica, veículos autônomos, espaços inteligentes, ambientes industriais, simulação e raciocínio sobre ações.

O resumo: o Cosmos3-Nano pode receber combinações de texto, imagem, vídeo, áudio e trajetórias de ação como entrada, e então produzir saídas de texto, imagem, vídeo, áudio ou ação. Isso o aproxima mais de um modelo operacional do mundo físico do que de um gerador de imagens ou vídeos para um único propósito.

Você pode ler o cartão do modelo aqui: nvidia/Cosmos3-Nano no Hugging Face. A NVIDIA também publicou o anúncio mais amplo do Cosmos 3 em sua sala de imprensa e uma visão geral prática para desenvolvedores no NVIDIA Technical Blog.

O que é o Cosmos3-Nano

O Cosmos3-Nano é o lançamento menor da família Cosmos 3 da NVIDIA. “Nano” não significa pequeno no sentido usual de modelos abertos. O cartão do modelo lista 16 bilhões de parâmetros treináveis, com pesos em BF16 e suporte através do framework Cosmos da NVIDIA, vLLM-Omni, vLLM, PyTorch e Hugging Face Diffusers.

O modelo é lançado sob a licença OpenMDW 1.1 e o cartão afirma que está pronto para uso comercial e não comercial. A NVIDIA lista a data de lançamento como 31 de maio de 2026 no Hugging Face e no GitHub.

A parte importante é o tipo do modelo. O Cosmos3-Nano é um modelo de mundo omni:

• Ele pode raciocinar sobre cenas físicas.
• Ele pode gerar saídas de vídeo e imagem.
• Ele pode gerar áudio ambiente mixado em vídeo.
• Ele pode gerar ou condicionar trajetórias de ação.
• Ele pode suportar fluxos de trabalho de previsão de estado futuro e políticas incorporadas.

Isso o coloca em uma categoria diferente de modelos como Veo, Runway, Seedance ou Kling. Esses são principalmente modelos de vídeo criativos. O Cosmos3-Nano é voltado para desenvolvedores que precisam de um modelo para entender, simular e agir em ambientes físicos.

Por que isso importa

A maioria dos modelos de vídeo generativo responde a uma pergunta criativa:

Como esta cena deveria ser?

O Cosmos3-Nano tenta responder a uma pergunta de Physical AI:

O que está acontecendo nesta cena, o que pode acontecer a seguir e qual ação deve seguir?

Essa distinção importa para robótica e sistemas autônomos. Um robô de armazém, veículo de entrega, câmera de fábrica ou agente incorporado não precisa apenas de vídeo bonito. Ele precisa de um modelo interno útil do mundo.

Por exemplo:

• Um braço robótico precisa entender como os objetos se movem quando agarrados.
• Um veículo autônomo precisa de previsão de estado futuro sob condições de estrada em mudança.
• Um sistema de espaço inteligente precisa raciocinar sobre atividades em imagens de câmeras fixas.
• Um pipeline de simulação precisa de dados sintéticos que preservem a plausibilidade física.
• Um modelo de política robótica precisa de trajetórias de ação, não apenas quadros visuais.

O Cosmos3-Nano é a tentativa da NVIDIA de reunir essas capacidades em uma família de modelos abertos.

A arquitetura: Mixture-of-Transformers

A NVIDIA descreve o Cosmos 3 como uma arquitetura Mixture-of-Transformers. O modelo combina dois sistemas de transformadores complementares:

Componente	Função
Transformador autorregressivo	Gera tokens discretos, como texto
Transformador de difusão	Gera modalidades contínuas, como imagens, vídeo, áudio e ações

Este é um design pragmático. A geração de texto e a geração de vídeo não utilizam o mesmo processo de decodificação. O texto funciona bem com decodificação autorregressiva de próximo token. Imagens, vídeo e áudio geralmente funcionam melhor como problemas de denoising.

A arquitetura mantém ambos os mecanismos em um único framework de modelo, para que o Cosmos3 possa raciocinar e gerar em modalidades heterogêneas sem fingir que toda saída deve ser decodificada da mesma forma.

Essa é a razão técnica pela qual o Cosmos3-Nano parece diferente de uma pilha de “modelo de vídeo mais legendador”. O objetivo não é conectar um modelo de linguagem visual a um gerador. O objetivo é um modelo unificado de Physical AI que possa raciocinar, gerar e agir.

Capacidades de entrada e saída

De acordo com o cartão do modelo, o Cosmos3-Nano suporta uma ampla superfície de entrada e saída.

Entradas do gerador:

• texto
• imagem
• vídeo com ou sem áudio
• trajetória de ação

Saídas do gerador:

• imagem
• vídeo
• áudio
• ação
• texto

O cartão do modelo lista formatos comuns de imagem e vídeo, como JPG, PNG, WEBP e MP4. As entradas de vídeo podem ser 256p, 480p ou 720p, e o vídeo de entrada é limitado a 5 quadros para o caminho do gerador. As entradas de áudio são curtas, com duração máxima de 0,5 segundos. As entradas de ação cobrem múltiplas incorporações, incluindo movimento de câmera, veículos autônomos, movimento egocêntrico, braços Franka, Agibot, UR, robô Google, WidowX 250 e UMI.

Para saídas, o vídeo gerado é em MP4. O áudio gerado é codificado como AAC e mixado no arquivo de vídeo. A geração de vídeo pode ter de 5 a 400 quadros, com 189 quadros listados como duração de geração padrão.

Essa combinação é incomum. A maioria dos modelos públicos de vídeo expõe texto para vídeo e imagem para vídeo. O Cosmos3-Nano expõe um conjunto de controles mais orientado para Physical AI, incluindo geração condicionada por ação e previsão de ação.

O que os desenvolvedores podem construir com ele

O Cosmos3-Nano é mais interessante quando o produto não é um editor de vídeo para consumidores.

Geração de dados sintéticos

Os sistemas de Physical AI precisam de dados que cubram casos extremos. A coleta no mundo real é cara, lenta e às vezes insegura. O Cosmos3-Nano pode ajudar a gerar cenas, estados futuros e interações físicas que complementam conjuntos de dados reais.

Isso não significa que dados sintéticos substituem dados reais. Significa que as equipes podem ampliar a cobertura em torno de condições climáticas raras, layouts incomuns de objetos, situações de tráfego de cauda longa, interações em armazéns ou estados de manipulação robótica.

Previsão de estado futuro

Um modelo de mundo deve ajudar a estimar o que acontece a seguir. Se uma câmera vê um veículo em movimento, uma caixa deslizando em uma esteira ou um braço robótico se aproximando de um objeto, o modelo pode ser usado como parte de um fluxo de trabalho de previsão.

A NVIDIA é cautelosa sobre segurança aqui. As saídas do Cosmos3 não devem ser tratadas como verdade física certificada. Para sistemas autônomos, as previsões geradas precisam de restrições externas, validação e proteções em nível de sistema.

Raciocínio sobre ações robóticas

O suporte à trajetória de ação é o diferenciador mais importante. O Cosmos3-Nano pode condicionar sequências de ação e gerar rollouts físicos, ou inferir saídas semelhantes a ações a partir de contexto visual.

Isso o torna relevante para:

• desenvolvimento de políticas robóticas
• planejamento de manipulação
• experimentos de dinâmica inversa
• aumento de dados para agentes incorporados
• pesquisa de sim-to-real

Novamente, isso é um bloco de construção de pesquisa e desenvolvimento, não um controlador de segurança pronto para uso.

Geração de vídeo e áudio para cenas físicas

O Cosmos3-Nano também pode gerar vídeo com som ambiente. O cartão do modelo inclui exemplos para texto para vídeo, imagem para vídeo, texto para vídeo mais áudio e imagem para vídeo mais áudio através de um endpoint vLLM-Omni local.

Para criadores de conteúdo, isso pode parecer um concorrente de modelos de vídeo como Kling ou Seedance. Mas o caso de uso mais forte é a geração de cenas físicas: estradas, armazéns, robôs, espaços internos, câmeras, movimento de objetos e ambientes onde a consistência física importa mais do que a saída cinematográfica estilizada.

Como executar o Cosmos3-Nano

O cartão do Hugging Face mostra três caminhos principais:

• Framework NVIDIA Cosmos
• Serviço vLLM-Omni
• Hugging Face Diffusers

Para implantação, a NVIDIA recomenda o vLLM-Omni para um endpoint de API compatível com OpenAI. Um comando de serviço típico se parece com este:

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

Para experimentação simples com Diffusers, o cartão do Hugging Face também expõe o padrão familiar de pipeline:

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

Para fluxos de trabalho sérios de vídeo ou ação, use os exemplos do framework Cosmos em vez de tratar isso como um modelo genérico de texto para imagem. Os exemplos avançados dependem de prompts com upsample em JSON, prompts negativos, requisições multipart e parâmetros específicos do modelo, como contagem de quadros, FPS, etapas de inferência, escala de orientação e metadados de ação.

Notas sobre hardware e implantação

Este não é um modelo para laptops. O cartão do modelo lista GB200 e H100 como hardware de teste, com NVIDIA Ampere, Hopper e Blackwell como famílias de microarquitetura de hardware suportadas. Apenas a precisão BF16 é oficialmente testada.

O cartão também afirma que o modelo não está implantado por um Provedor de Inferência do Hugging Face no momento da escrita. Na prática, isso significa que a maioria dos desenvolvedores o avaliará através de infraestrutura local de GPU NVIDIA, inferência hospedada personalizada, implantação no estilo NIM ou um provedor de API especializado assim que o suporte for lançado.

Para equipes que constroem sistemas de produção, a questão de implantação não é apenas “posso executá-lo?” É:

• Posso manter a latência baixa o suficiente para a tarefa?
• Posso custear memória de GPU suficiente para a resolução e contagem de quadros desejadas?
• Posso validar saídas contra restrições específicas do domínio?
• Posso registrar prompts, entradas, seeds, saídas geradas e metadados de ação para revisão?
• Posso falhar com segurança quando o estado de mundo gerado for incerto?

O Cosmos3-Nano é aberto, mas a implantação de Physical AI ainda requer infraestrutura séria.

Como o Cosmos3-Nano se compara com modelos de vídeo criativos

O Cosmos3-Nano não deve ser avaliado apenas pelos mesmos critérios que geradores de vídeo para consumidores.

Tipo de modelo	Objetivo principal	Melhor aplicação
Modelo de vídeo criativo	Gerar clipes atraentes	anúncios, vídeo social, b-roll cinematográfico
Editor de vídeo multimodal	Revisar mídia com entradas mistas	fluxos de trabalho de criadores, conteúdo de produtos
Modelo de mundo	Raciocinar sobre e simular cenas físicas	robótica, VAs, espaços inteligentes, dados sintéticos
Modelo de ação	Prever ou gerar trajetórias de controle	aprendizado de políticas incorporadas

Seedance, Kling, Runway e Veo ainda são melhores referências para qualidade de vídeo voltada para criadores. O Cosmos3-Nano é mais relevante quando a cena gerada deve se conectar ao raciocínio físico ou à ação.

É por isso que este lançamento importa. O mercado está se dividindo. O vídeo de IA é um ramo. Os modelos de mundo de Physical AI são outro.

Limitações e segurança

O cartão do modelo da NVIDIA é explícito ao afirmar que as saídas do Cosmos3 não devem ser tratadas como simulação fisicamente precisa, raciocínio de verdade absoluta ou tomada de decisão com certificação de segurança.

Esse é o aviso correto. Um estado futuro gerado pode ser útil como hipótese, mas não é uma medição verificada. Uma ação gerada pode ser útil para pesquisa, mas não é controle automaticamente seguro. Uma cena sintética pode ajudar a expandir um conjunto de dados, mas ainda pode codificar viés, casos ausentes ou detalhes fisicamente implausíveis.

As equipes de produção devem combinar o Cosmos3-Nano com:

• validação de domínio
• simuladores convencionais onde a física exata importa
• filtros de segurança e proteções
• revisão humana para saídas de alto risco
• dados de avaliação do mundo real
• fallbacks quando as previsões são incertas

O modelo é poderoso porque unifica modalidades. Isso também significa que erros podem se propagar entre modalidades. Se a etapa de raciocínio interpretar mal uma cena, o vídeo, áudio ou ação gerados podem herdar esse erro.

Por que isso importa para plataformas de IA

O Cosmos3-Nano aponta para uma mudança mais ampla: as APIs de modelos estão indo além de endpoints de texto, imagem e vídeo em direção a APIs de estado do mundo.

As futuras plataformas de IA não vão apenas expor:

generate_image(prompt)
generate_video(prompt)

Elas vão expor tarefas de Physical AI de nível superior:

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

Para os desenvolvedores, isso significa que o roteamento de modelos se torna mais importante. Uma solicitação para um anúncio no TikTok deve ir para um modelo de vídeo criativo rápido. Uma solicitação para dados sintéticos de robô de armazém deve ir para um modelo de mundo de Physical AI. Uma solicitação para um rollout de ação controlado deve usar um modelo com reconhecimento de ação, não um endpoint genérico de imagem para vídeo.

O Cosmos3-Nano é um dos exemplos públicos mais claros dessa próxima categoria.

Conclusão

O NVIDIA Cosmos3-Nano é um modelo de mundo omnimodal aberto de 16 bilhões de parâmetros para Physical AI. Seu valor não está apenas no fato de que pode gerar vídeo, imagens, áudio, texto e ações. Seu valor está no fato de que essas capacidades residem dentro de uma família de modelos construída para raciocinar sobre ambientes físicos.

Se você está construindo ferramentas para criadores, o Cosmos3-Nano pode ser menos imediatamente útil do que Seedance, Kling, Runway ou Veo. Se você está construindo fluxos de trabalho de robótica, conjuntos de dados de sistemas autônomos, percepção de espaços inteligentes ou dados de treinamento sintéticos do mundo físico, este é um dos lançamentos mais importantes para testar este mês.

A grande ideia é simples: a geração de IA está se movendo da criação de mídia em direção à simulação do mundo físico. O Cosmos3-Nano é o ponto de entrada aberto da NVIDIA nessa mudança.

Fontes

• nvidia/Cosmos3-Nano no Hugging Face
• NVIDIA lança Cosmos 3 para Physical AI
• NVIDIA Technical Blog: Desenvolva Physical AI com o Cosmos 3