Seedance 2.0完全ガイド:マルチモーダルビデオクリエーション

Seedance 2.0完全ガイド:マルチモーダルビデオクリエーション

Seedance 2.0は、AI動画生成における根本的なシフトを表しています。テキストプロンプトや単一の参照画像だけに頼るのではなく、このモデルは画像、動画、音声、テキストを入力として受け入れ、真のフィルムメーカーのようにあなたの作品のあらゆる側面を指導することができます。

際立った機能は参照機能です。画像で視覚スタイルを設定し、動画でモーションとカメラワークを指定し、音声でリズムを駆動し、テキストでナラティブを誘導できます。その結果、生成動画ではこれまで不可能だったレベルのコントロールが実現します。


クイック仕様

パラメータ仕様
画像入力最大9つの画像
動画入力最大3つの動画、合計15秒以内
音声入力最大3つのMP3ファイル、合計15秒以内
テキスト入力自然言語プロンプト
出力期間4~15秒(ユーザー選択可能)
音声出力ネイティブな効果音と音楽
総ファイル制限生成あたり12ファイル

複数のファイルを扱う場合、最終出力に最も大きな影響を与えるアセット(モーション用の参照動画やキャラクター一貫性用の画像など)を優先してください。


参照の使用方法

Seedance 2.0は、アップロードされた各アセットをどのように使用するかを指定するための**@メンション機構**を使用しています。これにより、各ファイルが生成にどう貢献するかについて明示的なコントロールが得られます。

エントリーポイント

  • 最初/最後のフレームモード: スタート画像とプロンプトのみが必要な場合に使用
  • ユニバーサル参照モード: マルチモーダル組み合わせ(画像+動画+音声+テキスト)に使用

@構文

ファイルをアップロードした後、@に続くファイル識別子を使用してプロンプトで参照します:

@Image1を最初のフレームとして使用し、カメラムーブメントは@Video1を参照し、
背景音楽は@Audio1を使用

参照指示の例

ユースケースプロンプトパターン
最初のフレームを設定@Image1を最初のフレームとして使用
モーション参照格闘シーンは@Video1を参照
カメラワークをコピー@Video1のカメラムーブメントとトランジションに従う
音楽/リズムを追加背景音楽は@Audio1を使用
動画を拡張@Video1を5秒延長
キャラクター置き換え@Video1の女性を@Image1で置き換え

コア機能

1. 強化されたベース品質

Seedance 2.0は、基本的な生成品質において大幅な改善をもたらします:

  • 物理精度: 物体が落ち、衝突し、現実世界のルールに従って相互作用する
  • 流体的モーション: 適切な運動量とタイミングを持つ自然な動き
  • 正確な指示遵守: モデルが複雑なプロンプトを理解し実行する
  • スタイル一貫性: ビデオ全体で視覚的一貫性を維持する

プロンプト例:

女の子が優雅に洗濯物を干し、1つを終わらせてから
カゴからもう1つを取って、しっかり振りさばく。

モデルは、明示的なガイダンスなしに、継続的なアクション、生地の物理、自然な体の力学を処理します。

2. マルチモーダル参照システム

これはSeedance 2.0の定義上の機能です。アップロードしたアセットからほぼすべてのものを参照できます:

  • 参照動画からのモーションパターン
  • クリエイティブテンプレートからのビジュアルエフェクトとトランジション
  • 参照画像からのキャラクター外観
  • シネマトグラフィック例からのカメラテクニック
  • ミュージックトラックからのオーディオリズムとムード

主要原則: 自然言語を使用して、何を参照したいかを説明します。どのファイルからどの要素(モーション、スタイル、カメラ、キャラクター)を抽出するかについて具体的に指定します。

3. キャラクターとオブジェクトの一貫性

以前のモデルは、フレーム全体でのアイデンティティ維持に苦労していました。Seedance 2.0はこれに直接対応します:

  • 顔の一貫性: キャラクターが全体を通して外観を保つ
  • 製品詳細の保存: ロゴ、テキスト、細部の詳細が正確なままである
  • シーン一貫性: 環境がショット全体で一貫している
  • スタイルロック: ジェネレーション中にビジュアルスタイルが変わらない

プロンプト例:

@Image1の男性が疲れて仕事から帰宅し、廊下を歩き、
ペースを落とし、玄関で停止する。彼の顔のクローズアップで、
ストレスから落ち着きへと表情を調整する。鍵を探すクローズアップ、
ドアの錠に挿入する。彼が入り、娘とペットの犬が走ってきて
抱きしめようとする。インテリアは温かく居心地がよく、
自然な対話が全体を通じて続く。

4. モーションとカメラのレプリケーション

参照動画をアップロードすると、Seedance 2.0は以下を抽出して適用できます:

  • 複雑な振付: 格闘シーン、ダンスムーブ、アクションシーン
  • カメラテクニック: ドーリーショット、トラッキング、クレーンムーブ、ハンドヘルド感
  • 編集リズム: カットタイミング、トランジションスタイル、ペーシング
  • 特殊なムーブメント: ヒッチコックズーム、ウィップパン、オービットショット

プロンプト例:

@Image1の男性の外観を@Image2のエレベーター設定で参照。
@Video1のカメラムーブメントと主人公の顔の表情を完全に再現。
驚いたときのヒッチコックズーム、その後エレベーター内で
複数のオービットショット。ドア開く、彼に続くトラッキングショット。
外部シーン@Image3を参照、男性が周りを見回す。@Video1の
機械腕マルチアングルロボットアームショットが彼の視線を追う。

5. クリエイティブテンプレートのレプリケーション

モーションを超えて、クリエイティブコンセプト全体を複製できます:

  • 広告フォーマット: 製品リビール、ライフスタイルモンタージュ、ブランドストーリー
  • ビジュアルエフェクト: パーティクルシステム、モーフィング、スタイライズドトランジション
  • フィルムテクニック: オープニングシーケンス、タイトルカード、ドラマティックリビール
  • 編集スタイル: ミュージックビデオカット、ドキュメンタリーペーシング、コマーシャルリズム

プロンプト例:

@Video1の人物を@Image1の女の子に置き換え。月の女神CGを
@Image2を参照して天使に置き換え。女の子がしゃがむとき、
背中から羽が生える。羽がカメラの前を掃いてトランジション。
@Video1のカメラワークとトランジションを参照。天使の瞳を
通して次のシーンに入り、天使の空中ショット(螺旋翼が瞳と
一致)、カメラが天使の顔を下に引いて、腕の上昇時に背景の
石の天使像を明かす。全体を通じて1つの連続ショット。

6. ビデオ拡張

ナラティブ一貫性を保ちながら既存ビデオを拡張:

プロンプト例:

@Video1を15秒延長。@Image1と@Image2を参照してロバオンバイク
キャラクターを使用。ワイルドな広告シーケンスを追加:

シーン1: サイドショット、ロバがバイクでフェンスを破って
突破、近くのニワトリがびっくり。

シーン2: ロバが砂でスピニングスタント実行、タイヤのクローズアップ
その後ロバが円を描いているオーバーヘッドショット、塵が舞う。

シーン3: 山のバックドロップ、ロバが傾斜から飛び出し、
広告コピーが後ろに現れるマスキング効果を通じて(ロバが通過
するときテキスト表示):「創造性を刺激し、生活を豊かに」。
最終ショット:バイクが通過、塵雲が上昇。

7. ビデオ編集

スクラッチから再生成せずに既存ビデオを変更:

  • キャラクター置き換え: アクションを保ちながら1人を別の人と交換
  • 要素の追加/削除: オブジェクトを追加、気をそらすものを削除
  • スタイル転送: 新しいビジュアルトリートメントを適用
  • ナラティブ変更: ストーリー方向を変更

プロンプト例:

@Video1のプロットを反転。男性の表情が優しいから冷酷で無慈悲に
瞬時に変わる。女性が最も予期しない瞬間、彼は彼女を橋から水に
押し落とす。押し落とすことは決定的で、あらかじめ計画され、
躊躇がない—ロマンティックなキャラクター設定を完全に反転。
彼女は水面に浮かび上がり、彼に叫ぶ:「あなたは最初から
私に嘘をついていた!」彼は橋の上に立ち冷たく微笑み、静かに
言う:「これがあなたの家族が私の家族に負っているものです。」

8. オーディオ同期生成

Seedance 2.0はネイティブオーディオで動画を生成し、参照音声に 同期できます:

  • 複数言語でのリップシンク対話
  • オンスクリーンアクションに合わせた効果音
  • ビジュアルリズムに従う背景音楽
  • 感情表現を持つボイスアクティング

プロンプト例:

固定ショット。円形の開口部を下向きに見る魚眼レンズ。
@Video1の魚眼効果を参照。@Video2の馬を魚眼レンズに見上げさせる。
@Video1の話す動きを参照。背景音声は@Video3の効果音を参照。

9. ビートシンクされた編集

ビートに合うミュージックビデオスタイルのコンテンツを作成:

プロンプト例:

ポスターの女の子が服を着替え続ける。衣類スタイルは@Image1と
@Image2を参照。彼女は@Image3のバッグを持つ。ビデオリズムは
@Video1を参照。

複数の画像が音楽に同期する場合:

@Image1~@Image7の画像は@Video1のキーフレーム位置と
全体的なリズムにカット。フレーム内のキャラクターがより
動的である。全体的なスタイルがより幻想的である。強い
ビジュアルインパクト。音楽とビジュアルフローのために必要に応じて
参照画像フレーミングを調整。ショット間で照明の変化を追加。

10. ワンテイク連続性

一貫したモーションを持つ長く途切れないショットを生成:

プロンプト例:

@Image1~@Image5、階段を上る走者に続く1つの連続トラッキング
ショット、廊下を通って屋根に出て、街のオーバーヘッドビューで終了。

プロンプト例:

スパイスリラースタイル。@Image1を最初のフレームとして使用。
正面向きトラッキングショットで前に歩く赤いコートの女性。
彼女に続く全身ショット。歩行者がフレームを繰り返しブロック。
彼女がコーナーに到達し、@Image2のコーナーアーキテクチャを参照。
女性がフレームから出ていき、コーナーの周りに消えるときの
固定ショット。仮面の女の子がコーナーで潜みながら悪意を
持って見守る、仮面女の子の外観は@Image3を参照(外観のみ、
彼女はコーナーに立つ)。カメラが赤いコートの女性に向かってパン。
彼女がマンションに入り消える。マンションは@Image4を参照。
カットなし。1つの連続テイク。

クリエイティブアプリケーション

広告とeコマース

同期されたナレーション、ライフスタイルショット、ブランドストーリーテリングで製品デモンストレーションを作成します。マルチモーダルシステムにより、既存のブランドアセットを参照しながら新しいコンテンツを生成できます。

コンテンツローカライゼーション

ネイティブなリップシンクで多言語動画アダプテーションを生成。元の動画をモーション用として参照しながら、異なる言語で新しいダイアローグを生成します。

ストーリーボードからビデオへ

静的なストーリーボードパネルをアニメーションシーケンスに変換。ボードを参照画像としてアップロードし、それらの間のモーションを説明します。

テンプレートベースの作成

気に入った動画スタイルを見つけてそれを参照としてアップロードし、独自のキャラクターと設定でそのスタイルで新しいコンテンツを生成します。


ベストプラクティス

  1. 参照について明示的である: 各ファイルが何用かを明確に書き込みます。「参照するカメラムーブメントは@Video1」は、単に動画を言及するより良いです。

  2. アップロードを優先順位をつける: 12ファイルの制限がある場合、出力に最大の影響を与えるアセットを選びます。

  3. @メンションを確認: 複数のファイルがある場合、どの画像、動画、音声がどこに行くかについて混同していないことを確認します。

  4. 編集と参照を区別する: 既存の動画を編集したいのか、それとも新しいコンテンツ生成用の参照として使用したいのかを明確にします。

  5. 期間アライメント: 動画を拡張する場合、生成期間を新しいコンテンツの長さと一致させます(例:5秒延長=5秒生成)。

  6. 自然言語を使用: モデルがコンテキストを理解します。人間のエディターに説明するようにしたいことを説明します。


次のステップ

Seedance 2.0のマルチモーダル機能は進化し続けています。新しい機能と入力組み合わせが利用可能になると、このガイドを更新します。

問題が発生した場合やフィーチャーリクエストがある場合、フィードバックを歓迎します—これがすべての人にこのツールをより良くする方法です。