NVIDIA Cosmos3-Nanoとは？物理AIのための160億パラメータオムニワールドモデル

NVIDIAはCosmos3-NanoをHugging Faceで公開しました。これは通常のテキスト-to-ビデオのチェックポイントではありません。ロボティクス、自動運転車、スマートスペース、産業環境、シミュレーション、アクション推論など、Physical AI向けに設計された160億パラメータのオムニモーダル世界モデルです。

要点をまとめると：Cosmos3-Nanoはテキスト、画像、動画、音声、アクショントラジェクトリの組み合わせを入力として受け取り、テキスト、画像、動画、音声、またはアクションを出力できます。これにより、単一目的の画像や動画ジェネレーターよりも、物理世界のオペレーティングモデルに近い存在となっています。

モデルカードはこちらで確認できます：nvidia/Cosmos3-Nano on Hugging Face。NVIDIAはまた、より広範なCosmos 3の発表をニュースルームに、実践的な開発者向け概要をNVIDIA Technical Blogに掲載しています。

Cosmos3-Nanoとは

Cosmos3-NanoはNVIDIAのCosmos 3ファミリーにおける小型リリースです。「Nano」は通常のオープンモデルの文脈での「小さい」を意味しません。モデルカードによると160億のトレーニング可能なパラメータを持ち、BF16の重みと、NVIDIAのCosmosフレームワーク、vLLM-Omni、vLLM、PyTorch、Hugging Face Diffusersを通じたサポートを提供しています。

モデルはOpenMDW 1.1ライセンスの下でリリースされており、カードには商用・非商用利用に対応していると記載されています。NVIDIAはリリース日をHugging FaceおよびGitHubにて2026年5月31日としています。

重要なのはモデルの種類です。Cosmos3-Nanoはオムニ世界モデルです：

• 物理シーンを推論できる
• 動画と画像の出力を生成できる
• 動画にミックスされたアンビエントオーディオを生成できる
• アクショントラジェクトリを生成したり、条件付けしたりできる
• 未来状態予測および具現化ポリシーワークフローをサポートできる

これにより、Veo、Runway、Seedance、Klingといったモデルとは異なるカテゴリに位置づけられます。それらは主にクリエイティブな動画モデルです。Cosmos3-Nanoは、物理環境を理解し、シミュレートし、行動する必要のある開発者を対象としています。

なぜ重要なのか

ほとんどの生成動画モデルはクリエイティブな質問に答えます：

このシーンはどのように見えるべきか？

Cosmos3-NanoはPhysical AIの質問に答えようとします：

このシーンで何が起きているのか、次に何が起こり得るのか、そしてどのようなアクションが続くべきか？

この区別はロボティクスと自律システムにとって重要です。倉庫ロボット、配送車両、工場カメラ、または具現化エージェントは、きれいな動画だけを必要とするのではありません。世界の有用な内部モデルが必要です。

例えば：

• ロボットアームは、物体が把持された際にどのように動くかを理解する必要があります
• 自動運転車は、変化する道路条件下での未来状態予測が必要です
• スマートスペースシステムは、固定カメラの映像内のアクティビティを推論する必要があります
• シミュレーションパイプラインは、物理的な妥当性を保持した合成データが必要です
• ロボットポリシーモデルは、視覚的フレームだけでなくアクショントラジェクトリが必要です

Cosmos3-NanoはNVIDIAが、これらの機能を一つのオープンモデルファミリーにまとめる試みです。

アーキテクチャ：Mixture-of-Transformers

NVIDIAはCosmos 3をMixture-of-Transformersアーキテクチャとして説明しています。このモデルは2つの補完的なトランスフォーマーシステムを組み合わせています：

コンポーネント	役割
自己回帰トランスフォーマー	テキストなどの離散トークンを生成
拡散トランスフォーマー	画像、動画、音声、アクションなどの連続モダリティを生成

これは実用的な設計です。テキスト生成と動画生成は同じデコードプロセスを必要としません。テキストは次トークンの自己回帰デコーディングでうまく機能します。画像、動画、音声はデノイジング問題としての方が良い結果を得られることが多いです。

このアーキテクチャは両方のメカニズムを一つのモデルフレームワークに保持しているため、Cosmos3はすべての出力を同じ方法でデコードするふりをせずに、異種モダリティにわたって推論・生成できます。

これが、Cosmos3-Nanoが「動画モデルにキャプション機能を追加したもの」とは異なる技術的な理由です。目標はビジョン言語モデルをジェネレーターに接続することではありません。推論、生成、行動ができる統一されたPhysical AIモデルです。

入出力機能

モデルカードによると、Cosmos3-Nanoは幅広い入出力をサポートしています。

ジェネレーターの入力：

• テキスト
• 画像
• 音声あり・なしの動画
• アクショントラジェクトリ

ジェネレーターの出力：

• 画像
• 動画
• 音声
• アクション
• テキスト

モデルカードにはJPG、PNG、WEBP、MP4などの一般的な画像・動画フォーマットが記載されています。動画入力は256p、480p、720pが可能で、ジェネレーターパスでの入力動画は最大5フレームに制限されています。音声入力は短く、最大長は0.5秒です。アクション入力はカメラモーション、自動運転車、エゴセントリックモーション、Frankaアーム、Agibot、UR、Googleロボット、WidowX 250、UMIなど、複数の具現化をカバーします。

出力では、生成動画はMP4形式です。生成音声はAACとしてエンコードされ、動画ファイルにミックスされます。動画生成は5〜400フレームで実行でき、デフォルトの生成時間として189フレームが記載されています。

この組み合わせは珍しいです。ほとんどの公開動画モデルはテキスト-to-動画と画像-to-動画を提供しています。Cosmos3-Nanoはアクション条件付き生成とアクション予測を含む、より Physical AI 指向のコントロールセットを提供しています。

開発者が構築できるもの

Cosmos3-Nanoは、製品がコンシューマー向け動画エディターではない場合に最も興味深いです。

合成データ生成

Physical AIシステムはエッジケースをカバーするデータが必要です。実世界でのデータ収集はコストがかかり、遅く、時には危険なこともあります。Cosmos3-Nanoはシーン、未来状態、物理的インタラクションを生成して実データセットを補完するのに役立ちます。

これは合成データが実データを置き換えることを意味しません。チームが希少な気象条件、異常なオブジェクトレイアウト、ロングテールの交通状況、倉庫インタラクション、またはロボット操作状態に関するカバレッジを拡大できることを意味します。

未来状態予測

世界モデルは次に何が起こるかを推定するのに役立つはずです。カメラが移動する車両、ベルト上をスライドする箱、またはオブジェクトに近づくロボットアームを見た場合、モデルを予測ワークフローの一部として使用できます。

NVIDIAはここで安全性について慎重です。Cosmos3の出力は認定された物理的事実として扱うべきではありません。自律システムの場合、生成された予測には外部の制約、検証、システムレベルのガードレールが必要です。

ロボットアクション推論

アクショントラジェクトリのサポートが最も重要な差別化要素です。Cosmos3-Nanoはアクションシーケンスを条件として物理的なロールアウトを生成したり、視覚的なコンテキストからアクションのような出力を推論したりできます。

これにより、以下の分野に関連します：

• ロボットポリシー開発
• 操作計画
• 逆動力学実験
• 具現化エージェントのデータ拡張
• sim-to-real研究

これもまた、ドロップイン型の安全コントローラーではなく、研究・開発のビルディングブロックです。

物理シーン向けの動画・音声生成

Cosmos3-Nanoはアンビエントサウンド付きの動画も生成できます。モデルカードには、ローカルのvLLM-Omniエンドポイントを通じたテキスト-to-動画、画像-to-動画、テキスト-to-動画＋音声、画像-to-動画＋音声の例が含まれています。

コンテンツクリエーターにとっては、KlingやSeedanceのような動画モデルの競合に見えるかもしれません。しかし、より強力なユースケースは物理シーン生成です：道路、倉庫、ロボット、室内空間、カメラ、オブジェクトモーション、および物理的一貫性がスタイリッシュな映画的出力よりも重要な環境。

Cosmos3-Nanoの実行方法

Hugging Faceのカードには3つの主要なパスが示されています：

• NVIDIA Cosmosフレームワーク
• vLLM-Omniサービング
• Hugging Face Diffusers

デプロイメントには、NVIDIAはOpenAI互換のAPIエンドポイント用にvLLM-Omniを推奨しています。典型的なサービングコマンドは次のようになります：

vllm serve nvidia/Cosmos3-Nano \
  --omni \
  --host 0.0.0.0 \
  --port 8000

シンプルなDiffusersの実験には、Hugging FaceカードはおなじみのパイプラインパターンもEXPOSEしています：

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    dtype=torch.bfloat16,
    device_map="cuda",
)

image = pipe("A warehouse robot inspecting stacked crates").images[0]

本格的な動画やアクションワークフローには、これを汎用テキスト-to-画像モデルとして扱うのではなく、Cosmosフレームワークの例を使用してください。高度な例では、JSONアップサンプルされたプロンプト、ネガティブプロンプト、マルチパートリクエスト、フレーム数、FPS、推論ステップ、ガイダンススケール、アクションメタデータなどのモデル固有のパラメータが必要です。

ハードウェアとデプロイメントに関する注意

これはラップトップで動かすようなモデルではありません。モデルカードにはテストハードウェアとしてGB200およびH100が記載されており、NVIDIA Ampere、Hopper、Blackwellがサポートされているハードウェアマイクロアーキテクチャファミリーとして挙げられています。BF16精度のみが公式にテストされています。

カードにはまた、執筆時点ではモデルがHugging Face Inference Providerによってデプロイされていないと記載されています。実際には、ほとんどの開発者はローカルのNVIDA GPUインフラ、カスタムホステッド推論、NIMスタイルのデプロイメント、またはサポートが開始された後の特化型APIプロバイダーを通じて評価することになります。

本番システムを構築するチームにとって、デプロイメントの問題は「実行できるか？」だけではありません：

• タスクに十分な低レイテンシを維持できるか？
• 目標解像度とフレーム数に必要なGPUメモリを確保できるか？
• ドメイン固有の制約に対して出力を検証できるか？
• レビュー用にプロンプト、入力、シード、生成出力、アクションメタデータをログに記録できるか？
• 生成された世界状態が不確かな場合に安全に失敗できるか？

Cosmos3-Nanoはオープンですが、Physical AIのデプロイメントには依然として真剣なインフラが必要です。

Cosmos3-Nanoとクリエイティブ動画モデルとの比較

Cosmos3-Nanoはコンシューマー向け動画ジェネレーターと同じ基準だけで評価されるべきではありません。

モデルタイプ	主な目標	最適なユースケース
クリエイティブ動画モデル	魅力的なクリップを生成	広告、ソーシャル動画、映画的Bロール
マルチモーダル動画エディター	混合入力でメディアを修正	クリエイターワークフロー、製品コンテンツ
世界モデル	物理シーンを推論・シミュレート	ロボティクス、AV、スマートスペース、合成データ
アクションモデル	制御トラジェクトリを予測・生成	具現化ポリシー学習

Seedance、Kling、Runway、Veoはクリエイター向けの動画品質において依然として優れた参照モデルです。Cosmos3-Nanoは、生成シーンが物理的推論またはアクションと接続する必要がある場合により関連性があります。

これがこのリリースが重要な理由です。市場は分岐しています。AI動画は一方の枝です。Physical AI世界モデルはもう一方の枝です。

制限事項と安全性

NVIDIAのモデルカードは、Cosmos3の出力を物理的に正確なシミュレーション、グランドトゥルース推論、または安全認定の意思決定として扱うべきではないと明示しています。

これは適切な警告です。生成された未来状態は仮説として有用ですが、検証済みの測定ではありません。生成されたアクションは研究には有用ですが、自動的に安全な制御ではありません。合成シーンはデータセットの拡張に役立ちますが、バイアス、欠落ケース、または物理的に非現実的な詳細をエンコードする可能性があります。

本番チームはCosmos3-Nanoと以下を組み合わせるべきです：

• ドメイン検証
• 正確な物理学が重要な場合の従来のシミュレーター
• 安全フィルターとガードレール
• 高リスク出力のヒューマンレビュー
• 実世界評価データ
• 予測が不確かな場合のフォールバック

このモデルはモダリティを統一しているため強力です。それはまた、ミスがモダリティをまたいで伝播する可能性を意味します。推論ステップがシーンを誤読すると、生成された動画、音声、またはアクションがそのエラーを引き継ぐ可能性があります。

AIプラットフォームにとっての意義

Cosmos3-Nanoはより広い変化を示しています：モデルAPIはテキスト、画像、動画のエンドポイントを超えて世界状態APIへと移行しています。

将来のAIプラットフォームは以下だけを提供するのではありません：

generate_image(prompt)
generate_video(prompt)

より高レベルのPhysical AIタスクを提供するようになります：

predict_next_state(scene, action)
generate_synthetic_rollout(environment, policy)
infer_action(video)
simulate_edge_case(route, weather, actors)

開発者にとって、それはモデルルーティングがより重要になることを意味します。TikTok広告のリクエストは高速なクリエイティブ動画モデルへ。倉庫ロボットの合成データのリクエストはPhysical AI世界モデルへ。制御されたアクションロールアウトのリクエストは、汎用的な画像-to-動画エンドポイントではなく、アクション対応モデルを使用すべきです。

Cosmos3-Nanoはその次世代カテゴリの最も明確な公開例の一つです。

最終評価

NVIDIA Cosmos3-NanoはPhysical AI向けの160億パラメータのオープンオムニモーダル世界モデルです。その価値は単に動画、画像、音声、テキスト、アクションを生成できることではありません。それらの機能が物理環境を推論するために構築されたモデルファミリー内に存在することです。

クリエイターツールを構築しているなら、Cosmos3-NanoはSeedance、Kling、Runway、Veoほど即座には有用ではないかもしれません。ロボティクスワークフロー、自律システムデータセット、スマートスペース知覚、または物理世界の合成トレーニングデータを構築しているなら、今月テストすべき最も重要なリリースの一つです。

大きなアイデアはシンプルです：AI生成はメディア創造から物理世界シミュレーションへと移行しています。Cosmos3-NanoはNVIDIAがその変化へのオープンなエントリーポイントです。

出典

• nvidia/Cosmos3-Nano on Hugging Face
• NVIDIA launches Cosmos 3 for Physical AI
• NVIDIA Technical Blog: Develop Physical AI with Cosmos 3