NVIDIA Cosmos3-Nano란 무엇인가? 물리적 AI를 위한 160억 파라미터 옴니 월드 모델

NVIDIA가 Hugging Face에 Cosmos3-Nano를 공개했습니다. 이는 일반적인 텍스트-투-비디오 체크포인트가 아닙니다. 로보틱스, 자율주행차, 스마트 공간, 산업 환경, 시뮬레이션, 행동 추론을 위한 Physical AI 전용 160억 파라미터 옴니모달 월드 모델입니다.

요약하면: Cosmos3-Nano는 텍스트, 이미지, 비디오, 오디오, 행동 궤적을 조합하여 입력받고, 텍스트, 이미지, 비디오, 오디오, 행동을 출력할 수 있습니다. 이는 단일 목적의 이미지나 비디오 생성기보다 물리적 세계 운영 모델에 훨씬 가깝습니다.

모델 카드는 여기서 확인할 수 있습니다: nvidia/Cosmos3-Nano on Hugging Face. NVIDIA는 또한 뉴스룸에서 Cosmos 3 전체 발표를, NVIDIA Technical Blog에서 실용적인 개발자 개요를 게시했습니다.

Cosmos3-Nano란 무엇인가

Cosmos3-Nano는 NVIDIA Cosmos 3 패밀리의 소형 릴리스입니다. “Nano”는 일반적인 오픈 모델 기준에서 작다는 의미가 아닙니다. 모델 카드에는 160억 개의 학습 가능한 파라미터가 명시되어 있으며, BF16 가중치와 NVIDIA Cosmos 프레임워크, vLLM-Omni, vLLM, PyTorch, Hugging Face Diffusers를 통한 지원이 포함됩니다.

모델은 OpenMDW 1.1 라이선스로 출시되었으며, 카드에는 상업적 및 비상업적 용도로 사용 가능하다고 명시되어 있습니다. NVIDIA는 Hugging Face와 GitHub에서 출시일을 2026년 5월 31일로 기재하고 있습니다.

중요한 것은 모델 유형입니다. Cosmos3-Nano는 옴니 월드 모델입니다:

• 물리적 장면을 추론할 수 있습니다.
• 비디오 및 이미지 출력을 생성할 수 있습니다.
• 비디오에 믹싱된 앰비언트 오디오를 생성할 수 있습니다.
• 행동 궤적을 생성하거나 조건으로 활용할 수 있습니다.
• 미래 상태 예측 및 구현된 정책 워크플로우를 지원할 수 있습니다.

이는 Veo, Runway, Seedance, Kling 같은 모델들과 다른 카테고리에 위치합니다. 그 모델들은 주로 창의적 비디오 모델입니다. Cosmos3-Nano는 물리적 환경을 이해하고, 시뮬레이션하고, 행동해야 하는 개발자들을 대상으로 합니다.

왜 중요한가

대부분의 생성형 비디오 모델은 창의적인 질문에 답합니다:

이 장면은 어떻게 보여야 하는가?

Cosmos3-Nano는 Physical AI 질문에 답하려 합니다:

이 장면에서 무슨 일이 일어나고 있으며, 다음에 무슨 일이 일어날 수 있고, 어떤 행동이 이어져야 하는가?

이 구분은 로보틱스와 자율 시스템에서 중요합니다. 창고 로봇, 배달 차량, 공장 카메라, 구현된 에이전트는 예쁜 비디오만 필요한 것이 아닙니다. 세계에 대한 유용한 내부 모델이 필요합니다.

예를 들면:

• 로봇 팔은 물체를 잡았을 때 어떻게 움직이는지 이해해야 합니다.
• 자율주행차는 변화하는 도로 조건에서 미래 상태를 예측해야 합니다.
• 스마트 공간 시스템은 고정 카메라 영상에서 활동을 추론해야 합니다.
• 시뮬레이션 파이프라인은 물리적 타당성을 보존하는 합성 데이터가 필요합니다.
• 로봇 정책 모델은 시각적 프레임만이 아닌 행동 궤적이 필요합니다.

Cosmos3-Nano는 이러한 기능들을 하나의 오픈 모델 패밀리에 담으려는 NVIDIA의 시도입니다.

아키텍처: Mixture-of-Transformers

NVIDIA는 Cosmos 3를 Mixture-of-Transformers 아키텍처로 설명합니다. 모델은 두 가지 상호 보완적인 트랜스포머 시스템을 결합합니다:

구성 요소	역할
자기회귀 트랜스포머	텍스트와 같은 이산 토큰 생성
확산 트랜스포머	이미지, 비디오, 오디오, 행동과 같은 연속 모달리티 생성

이는 실용적인 설계입니다. 텍스트 생성과 비디오 생성은 동일한 디코딩 과정을 원하지 않습니다. 텍스트는 다음 토큰 자기회귀 디코딩과 잘 작동합니다. 이미지, 비디오, 오디오는 종종 노이즈 제거 문제로 더 잘 작동합니다.

아키텍처는 두 메커니즘을 하나의 모델 프레임워크에 유지하므로, Cosmos3는 모든 출력이 동일하게 디코딩되어야 한다는 가정 없이 이질적인 모달리티에 걸쳐 추론하고 생성할 수 있습니다.

이것이 Cosmos3-Nano가 “비디오 모델 + 캡셔너” 스택과 다르게 느껴지는 기술적 이유입니다. 목표는 비전-언어 모델을 생성기에 연결하는 것이 아닙니다. 목표는 추론하고, 생성하고, 행동할 수 있는 통합된 Physical AI 모델입니다.

입력 및 출력 기능

모델 카드에 따르면, Cosmos3-Nano는 광범위한 입출력 표면을 지원합니다.

생성기 입력:

• 텍스트
• 이미지
• 오디오 포함/미포함 비디오
• 행동 궤적

생성기 출력:

• 이미지
• 비디오
• 오디오
• 행동
• 텍스트

모델 카드에는 JPG, PNG, WEBP, MP4 같은 일반적인 이미지 및 비디오 형식이 나열되어 있습니다. 비디오 입력은 256p, 480p, 720p가 가능하며, 생성기 경로에서 입력 비디오는 5프레임으로 제한됩니다. 오디오 입력은 짧으며, 최대 길이는 0.5초입니다. 행동 입력은 카메라 모션, 자율주행차, 자아중심 모션, Franka 팔, Agibot, UR, Google 로봇, WidowX 250, UMI를 포함한 다양한 구현체를 커버합니다.

출력의 경우, 생성된 비디오는 MP4 형식입니다. 생성된 오디오는 AAC로 인코딩되어 비디오 파일에 믹싱됩니다. 비디오 생성은 5~400프레임으로 실행할 수 있으며, 기본 생성 지속 시간은 189프레임으로 나열되어 있습니다.

이 조합은 특이합니다. 대부분의 공개 비디오 모델은 텍스트-투-비디오와 이미지-투-비디오를 제공합니다. Cosmos3-Nano는 행동 조건부 생성 및 행동 예측을 포함하여 더 Physical AI 지향적인 제어 세트를 제공합니다.

개발자가 만들 수 있는 것

Cosmos3-Nano는 제품이 소비자용 비디오 편집기가 아닐 때 가장 흥미롭습니다.

합성 데이터 생성

Physical AI 시스템은 엣지 케이스를 커버하는 데이터가 필요합니다. 실제 데이터 수집은 비용이 많이 들고, 느리며, 때로는 안전하지 않습니다. Cosmos3-Nano는 실제 데이터셋을 보강하는 장면, 미래 상태, 물리적 상호작용 생성을 도울 수 있습니다.

이것이 합성 데이터가 실제 데이터를 대체한다는 의미는 아닙니다. 드문 날씨, 비정상적인 물체 배치, 롱테일 교통 상황, 창고 상호작용, 로봇 조작 상태 등 희귀한 케이스에 대한 커버리지를 확장할 수 있다는 의미입니다.

미래 상태 예측

월드 모델은 다음에 무슨 일이 일어날지 추정하는 데 도움이 되어야 합니다. 카메라가 움직이는 차량, 벨트에서 미끄러지는 상자, 물체에 접근하는 로봇 팔을 보면, 모델을 예측 워크플로우의 일부로 사용할 수 있습니다.

NVIDIA는 안전에 대해 신중합니다. Cosmos3 출력은 인증된 물리적 사실로 취급되어서는 안 됩니다. 자율 시스템의 경우, 생성된 예측에는 외부 제약, 검증, 시스템 수준의 가드레일이 필요합니다.

로봇 행동 추론

행동 궤적 지원이 가장 중요한 차별점입니다. Cosmos3-Nano는 행동 시퀀스를 조건으로 물리적 롤아웃을 생성하거나, 시각적 컨텍스트에서 행동과 유사한 출력을 추론할 수 있습니다.

이는 다음에 관련이 있습니다:

• 로봇 정책 개발
• 조작 계획
• 역동역학 실험
• 구현된 에이전트를 위한 데이터 증강
• sim-to-real 연구

다시 말해, 이것은 연구 및 개발 구성 요소이지, 즉시 사용 가능한 안전 컨트롤러가 아닙니다.

물리적 장면의 비디오 및 오디오 생성

Cosmos3-Nano는 앰비언트 사운드와 함께 비디오도 생성할 수 있습니다. 모델 카드에는 로컬 vLLM-Omni 엔드포인트를 통한 텍스트-투-비디오, 이미지-투-비디오, 텍스트-투-비디오+오디오, 이미지-투-비디오+오디오 예제가 포함되어 있습니다.

콘텐츠 제작자에게는 Kling이나 Seedance 같은 비디오 모델의 경쟁자처럼 보일 수 있습니다. 하지만 더 강력한 사용 사례는 물리적 장면 생성입니다: 도로, 창고, 로봇, 실내 공간, 카메라, 물체 모션, 스타일화된 영화적 출력보다 물리적 일관성이 더 중요한 환경.

Cosmos3-Nano 실행 방법

Hugging Face 카드는 세 가지 주요 경로를 보여줍니다:

• NVIDIA Cosmos 프레임워크
• vLLM-Omni 서빙
• Hugging Face Diffusers

배포를 위해 NVIDIA는 OpenAI 호환 API 엔드포인트로 vLLM-Omni를 권장합니다. 일반적인 서빙 명령은 다음과 같습니다:

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

간단한 Diffusers 실험을 위해 Hugging Face 카드는 친숙한 파이프라인 패턴도 제공합니다:

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

본격적인 비디오나 행동 워크플로우의 경우, 이를 일반 텍스트-투-이미지 모델로 취급하는 대신 Cosmos 프레임워크 예제를 사용하세요. 고급 예제는 JSON 업샘플링된 프롬프트, 네거티브 프롬프트, 멀티파트 요청, 프레임 수, FPS, 추론 스텝, 가이던스 스케일, 행동 메타데이터 같은 모델별 파라미터에 의존합니다.

하드웨어 및 배포 참고사항

이것은 노트북용 장난감 모델이 아닙니다. 모델 카드에는 GB200 및 H100이 테스트 하드웨어로 나열되어 있으며, NVIDIA Ampere, Hopper, Blackwell이 지원되는 하드웨어 마이크로아키텍처 패밀리로 명시되어 있습니다. BF16 정밀도만 공식적으로 테스트되었습니다.

카드에는 또한 작성 시점에 Hugging Face Inference Provider에 의해 배포되지 않는다고 명시되어 있습니다. 실제로는 대부분의 개발자가 로컬 NVIDIA GPU 인프라, 커스텀 호스팅 추론, NIM 스타일 배포, 또는 지원이 도착하면 전문화된 API 제공업체를 통해 평가할 것입니다.

프로덕션 시스템을 구축하는 팀의 경우, 배포 질문은 “실행할 수 있는가?”만이 아닙니다:

• 작업에 충분히 낮은 지연 시간을 유지할 수 있는가?
• 목표 해상도와 프레임 수에 충분한 GPU 메모리를 감당할 수 있는가?
• 도메인별 제약 조건에 대해 출력을 검증할 수 있는가?
• 검토를 위해 프롬프트, 입력, 시드, 생성된 출력, 행동 메타데이터를 기록할 수 있는가?
• 생성된 월드 상태가 불확실할 때 안전하게 실패할 수 있는가?

Cosmos3-Nano는 오픈 소스이지만, Physical AI 배포는 여전히 진지한 인프라가 필요합니다.

Cosmos3-Nano와 창의적 비디오 모델 비교

Cosmos3-Nano는 소비자용 비디오 생성기와 동일한 기준으로만 평가되어서는 안 됩니다.

모델 유형	주요 목표	최적 적합
창의적 비디오 모델	매력적인 클립 생성	광고, 소셜 비디오, 영화적 B-롤
멀티모달 비디오 편집기	혼합 입력으로 미디어 수정	크리에이터 워크플로우, 제품 콘텐츠
월드 모델	물리적 장면 추론 및 시뮬레이션	로보틱스, AV, 스마트 공간, 합성 데이터
행동 모델	제어 궤적 예측 또는 생성	구현된 정책 학습

Seedance, Kling, Runway, Veo는 크리에이터 대상 비디오 품질에서 여전히 더 나은 참조입니다. Cosmos3-Nano는 생성된 장면이 물리적 추론이나 행동에 연결되어야 할 때 더 관련이 있습니다.

이것이 이번 릴리스가 중요한 이유입니다. 시장이 분리되고 있습니다. AI 비디오가 한 분야이고, Physical AI 월드 모델이 또 다른 분야입니다.

한계 및 안전

NVIDIA의 모델 카드는 Cosmos3 출력이 물리적으로 정확한 시뮬레이션, 기준 진실 추론, 또는 안전 인증된 의사결정으로 취급되어서는 안 된다고 명시적으로 경고합니다.

이는 올바른 경고입니다. 생성된 미래 상태는 가설로서 유용할 수 있지만, 검증된 측정이 아닙니다. 생성된 행동은 연구에 유용할 수 있지만, 자동으로 안전한 제어가 아닙니다. 합성 장면은 데이터셋 확장에 도움이 될 수 있지만, 여전히 편향, 누락된 케이스, 또는 물리적으로 타당하지 않은 세부 사항을 포함할 수 있습니다.

프로덕션 팀은 Cosmos3-Nano와 함께 다음을 갖춰야 합니다:

• 도메인 검증
• 정확한 물리학이 중요한 경우의 기존 시뮬레이터
• 안전 필터 및 가드레일
• 고위험 출력에 대한 인간 검토
• 실제 평가 데이터
• 예측이 불확실할 때의 폴백

모델은 모달리티를 통합하기 때문에 강력합니다. 그것은 또한 실수가 모달리티에 걸쳐 전파될 수 있음을 의미합니다. 추론 단계가 장면을 잘못 읽으면, 생성된 비디오, 오디오, 행동이 그 오류를 상속받을 수 있습니다.

AI 플랫폼에 미치는 의미

Cosmos3-Nano는 더 광범위한 변화를 가리킵니다: 모델 API가 텍스트, 이미지, 비디오 엔드포인트를 넘어 월드 상태 API로 이동하고 있습니다.

미래의 AI 플랫폼은 단순히 다음만 제공하지 않을 것입니다:

generate_image(prompt)
generate_video(prompt)

더 높은 수준의 Physical AI 작업을 제공할 것입니다:

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

개발자에게는 모델 라우팅이 더 중요해진다는 의미입니다. TikTok 광고 요청은 빠른 창의적 비디오 모델로 가야 합니다. 창고 로봇 합성 데이터 요청은 Physical AI 월드 모델로 가야 합니다. 제어된 행동 롤아웃 요청은 일반 이미지-투-비디오 엔드포인트가 아닌 행동 인식 모델을 사용해야 합니다.

Cosmos3-Nano는 그 다음 카테고리의 가장 명확한 공개 사례 중 하나입니다.

최종 평가

NVIDIA Cosmos3-Nano는 Physical AI를 위한 160억 파라미터 오픈 옴니모달 월드 모델입니다. 그 가치는 단순히 비디오, 이미지, 오디오, 텍스트, 행동을 생성할 수 있다는 것이 아닙니다. 그 가치는 이러한 기능들이 물리적 환경에 대한 추론을 위해 구축된 모델 패밀리 안에 있다는 것입니다.

크리에이터 도구를 만들고 있다면, Cosmos3-Nano는 Seedance, Kling, Runway, Veo보다 즉각적으로 덜 유용할 수 있습니다. 로보틱스 워크플로우, 자율 시스템 데이터셋, 스마트 공간 인식, 또는 합성 물리적 세계 훈련 데이터를 구축하고 있다면, 이달에 테스트해야 할 가장 중요한 릴리스 중 하나입니다.

핵심 아이디어는 간단합니다: AI 생성은 미디어 창작에서 물리적 세계 시뮬레이션으로 이동하고 있습니다. Cosmos3-Nano는 NVIDIA의 그 변화에 대한 오픈 진입점입니다.

출처

• nvidia/Cosmos3-Nano on Hugging Face
• NVIDIA launches Cosmos 3 for Physical AI
• NVIDIA Technical Blog: Develop Physical AI with Cosmos 3