Seedance 2.0 完整指南:多模態視頻創建

Seedance 2.0 完整指南:多模態視頻創建

Seedance 2.0 代表了 AI 影片生成的根本性轉變。與其單純依賴文本提示或單一參考圖像,此模型接受圖像、影片、音訊和文本作為輸入—讓您能像真正的電影製作人一樣指導創作的每一個方面。

亮點功能是其參考能力:您可以用圖像設定視覺風格、用影片指定動作和攝機工作、用音訊驅動節奏,並用文本引導敘事。結果是一種在生成影片中以前不可能實現的控制水平。


快速規格

參數規格
圖像輸入最多 9 張圖像
影片輸入最多 3 個影片,總時長最多 15 秒
音訊輸入最多 3 個 MP3 文件,總時長最多 15 秒
文本輸入自然語言提示
輸出時長4–15 秒(用戶可選)
音訊輸出原生音效和音樂
總文件限制每次生成 12 個文件

使用多個文件時,優先考慮對最終輸出影響最大的資產—無論是用於動作的參考影片還是用於角色一致性的圖像。


如何使用參考

Seedance 2.0 使用**@ 提及系統**來指定應如何使用每個上傳的資產。這讓您可以明確控制每個文件對生成的貢獻。

進入點

  • 首/末幀模式:當您只需要起始圖像加提示時使用
  • 通用參考模式:用於多模態組合(圖像 + 影片 + 音訊 + 文本)

@ 語法

上傳文件後,在提示中使用 @ 後跟文件識別符來參考它們:

@Image1 作為第一幀,參考 @Video1 的攝機動作,
使用 @Audio1 作為背景音樂

參考指令示例

使用案例提示模式
設定第一幀@Image1 作為第一幀
參考動作參考 @Video1 的打鬥編舞
複製攝機工作遵循 @Video1 的攝機動作和轉場
添加音樂/節奏使用 @Audio1 作為背景音樂
延長影片延長 @Video1 5 秒
替換角色用 @Image1 替換 @Video1 中的女人

核心功能

1. 增強的基礎質量

Seedance 2.0 在基本生成質量方面提供了顯著改進:

  • 物理精確度:物體根據真實世界規則下落、碰撞和相互作用
  • 流暢動作:具有適當動量和時序的自然動作
  • 精確的指令遵循:模型理解並執行複雜提示
  • 風格一致性:在整個影片中保持視覺連貫性

示例提示:

一個女孩優雅地掛衣服,完成一件,然後從籃子裡拿出另一件,
用力抖動它。

模型無需明確指導就能處理連續動作、布料物理和自然身體力學。

2. 多模態參考系統

這是 Seedance 2.0 的定義特徵。您可以參考上傳資產中的幾乎任何內容:

  • 來自參考影片的動作模式
  • 來自創意模板的視覺效果和轉場
  • 來自參考圖像的角色外觀
  • 來自電影示例的攝機技術
  • 來自音樂曲目的音訊節奏和氛圍

關鍵原則:使用自然語言描述您要參考的內容。具體說明應該從哪個文件提取哪個元素(動作、風格、攝機、角色)。

3. 角色和物體一致性

以前的模型在跨幀保持身份方面存在困難。Seedance 2.0 直接解決了這個問題:

  • 面部一致性:角色在整個過程中保持其外觀
  • 產品細節保留:標誌、文本和精細細節保持準確
  • 場景連貫性:環境在不同鏡頭中保持一致
  • 風格鎖定:視覺風格在生成期間不會漂移

示例提示:

@Image1 中的男人疲憊地下班回家,沿著走廊走下去,
放慢步伐,停在前門。近距離拍攝他的臉,當他深吸一口氣,
將表情從緊張調整為放鬆。近距離拍攝他找到鑰匙、將其插入
鎖中。他進入,女兒和寵物狗跑來擁抱他。室內溫暖舒適,
全程有自然對話。

4. 動作和攝機複製

上傳參考影片,Seedance 2.0 可以提取並應用:

  • 複雜編舞:打鬥序列、舞蹈動作、動作場景
  • 攝機技術:推拉鏡頭、跟蹤、起重機運動、手持感
  • 編輯節奏:切割時序、轉場風格、節奏
  • 特殊動作:希區考克變焦、甩鏡、環繞鏡頭

示例提示:

參考 @Image1 中男人在 @Image2 電梯場景中的外觀。
完全複製 @Video1 的攝機動作和主角的面部表情。主角受驚時
希區考克變焦,然後在電梯內進行多個環繞鏡頭。門打開,
跟蹤鏡頭跟著他出去。外景參考 @Image3,男人四處看看。
參考 @Video1 的機械臂多角度跟蹤鏡頭,跟蹤他的視線。

5. 創意模板複製

除了動作,您還可以複製整個創意概念:

  • 廣告格式:產品展示、生活方式蒙太奇、品牌故事
  • 視覺效果:粒子系統、變形、風格化轉場
  • 電影技術:開場序列、標題卡、戲劇性揭露
  • 編輯風格:音樂影片剪輯、紀錄片節奏、廣告節奏

示例提示:

用 @Image1 中的女孩替換 @Video1 中的人。用參考 @Image2 的
天使替換月神 CG。當女孩蹲下時,翅膀從她的背部長出。
翅膀掃過攝機進行轉場。參考 @Video1 的攝機工作和轉場。
通過天使的瞳孔進入下一個場景,天使的空中鏡頭(旋轉的
翅膀與瞳孔相匹配),攝機下降跟蹤天使的臉,在手臂抬起時
往回拉以揭示背景中的石頭天使雕像。整個過程持續一個鏡頭。

6. 影片延長

在保持敘事連貫性的同時延長現有影片:

示例提示:

延長 @Video1 15 秒。參考 @Image1 和 @Image2 中的摩托車驢
角色。添加瘋狂的廣告序列:

場景 1:側面拍攝,驢在摩托車上衝出柵欄,附近的雞受到驚嚇。

場景 2:驢在沙地上進行旋轉特技,輪胎特寫,然後驢進行圓形
運動的俯視圖,塵埃上升。

場景 3:山景背景,驢從斜坡上起飛,廣告文案通過遮罩效果
出現在後面(文本在驢經過時揭示):"啟發創意,豐富生活"。
最後鏡頭:摩托車經過,塵埃雲上升。

7. 影片編輯

修改現有影片而無需從頭開始重新生成:

  • 角色替換:在保持動作的同時交換一個人
  • 元素添加/移除:添加物體、移除乾擾
  • 風格遷移:應用新的視覺處理
  • 敘事變化:改變故事方向

示例提示:

顛覆 @Video1 的情節。男人的表情瞬間從溫柔變為冷酷和無情。
在女人最沒有防備的時刻,他把她推下橋進入水中。推動是
決定性的、有預謀的、毫不猶豫的—完全顛覆了浪漫角色設定。
當她下落時,沒有尖叫聲,只有她眼中的懷疑。她浮起來喊道:
"你從一開始就在騙我!"他站在橋上,帶著冷笑說得很輕聲:
"這就是你的家族欠我的。"

8. 音訊同步生成

Seedance 2.0 生成帶有原生音訊的影片,並可以與參考音訊同步:

  • 多種語言的唇同步對話
  • 與屏幕上動作相匹配的音效
  • 遵循視覺節奏的背景音樂
  • 具有情感表達的語音表演

示例提示:

固定鏡頭。魚眼鏡頭向下看著圓形開口。參考 @Video1 的魚眼效果。
讓 @Video2 中的馬抬頭看魚眼鏡頭。參考 @Video1 的說話動作。
背景音訊參考 @Video3 的音效。

9. 節拍同步編輯

創建與節拍相匹配的音樂影片風格內容:

示例提示:

海報中的女孩不斷改變服裝。服裝風格參考 @Image1 和 @Image2。
她拿著 @Image3 中的包。影片節奏參考 @Video1。

多個圖像與音樂同步:

圖像 @Image1 至 @Image7 按照 @Video1 的關鍵幀位置和整體
節奏進行切割。幀內的角色更具動感。整體風格更夢幻。視覺
衝擊力強。根據需要調整參考圖像框架以適應音樂和視覺流動。
在鏡頭之間添加光線變化。

10. 一次性連貫性

生成長的、不間斷的鏡頭,動作一致:

示例提示:

@Image1 至 @Image5,跟蹤跑者上樓梯、穿過走廊、衝上屋頂、
以城市俯視圖結束的一個連續跟蹤鏡頭。

示例提示:

間諜驚悚片風格。@Image1 作為第一幀。面朝前的女人穿著紅外套
向前走的跟蹤鏡頭。全景跟蹤她。行人反覆擋住鏡頭。她走到
一個角落,參考 @Image2 的角落建築。固定鏡頭當女人離開
鏡頭時,消失在角落周圍。一個戴面具的女孩潛伏在角落看著
惡意,戴面具女孩外觀參考 @Image3(僅外觀,她站在角落)。
攝機向著穿紅外套的女人向前平移。她進入豪宅然後消失。
豪宅參考 @Image4。沒有切割。一個連續鏡頭。

創意應用

廣告和電子商務

創建具有同步旁白、生活方式鏡頭和品牌故事講述的產品演示。多模態系統讓您可以參考現有品牌資產,同時生成新內容。

內容本地化

生成具有原生唇同步的多語言影片改編。參考原始影片進行動作,同時用不同語言生成新對話。

故事板到影片

將靜態故事板面板轉換為動畫序列。將您的面板上傳為參考圖像,並描述它們之間的動作。

基於模板的創建

找到您喜歡的影片風格,將其上傳為參考,並用您自己的角色和設定在該風格中生成新內容。


最佳實踐

  1. 明確說明參考:清楚地寫下哪個文件用於什麼目的。“參考 @Video1 的攝機動作”優於只是提及影片。

  2. 優先考慮您的上傳:由於有 12 文件限制,選擇對輸出影響最大的資產。

  3. 檢查您的 @ 提及:使用多個文件時,雙重檢查您沒有混淆哪個圖像、影片或音訊去往何處。

  4. 指定編輯對比參考:清楚地說明您想要編輯現有影片還是將其用作生成新內容的參考。

  5. 時長對齐:延長影片時,將生成時長設定為與新內容長度相匹配(例如,延長 5 秒 = 生成 5 秒)。

  6. 使用自然語言:模型理解上下文。像對人類編輯一樣描述您想要的內容。


接下來

Seedance 2.0 的多模態功能繼續演進。當新功能和輸入組合變得可用時,我們將更新此指南。

如果您遇到問題或有功能請求,我們歡迎您的反饋—這就是我們如何為每個人改進該工具。