Seedance 2.0完整指南:多模态视频创建

Seedance 2.0完整指南:多模态视频创建

Seedance 2.0 代表了 AI 视频生成的根本性转变。与其仅依赖文本提示或单一参考图像,这个模型接受图像、视频、音频和文本作为输入——让您像真正的电影制作人一样指导创作的每个方面。

突出的特点是其参考能力:您可以使用图像设置视觉风格,用视频指定运动和摄影机工作,用音频驱动节奏,用文本指导叙事。结果是一个在生成式视频中之前不可能实现的控制水平。


快速规格

参数规格
图像输入最多 9 张图像
视频输入最多 3 个视频,总计最多 15 秒
音频输入最多 3 个 MP3 文件,总计最多 15 秒
文本输入自然语言提示
输出时长4–15 秒(用户可选)
音频输出原生音效和音乐
总文件限制每次生成 12 个文件

使用多个文件时,请优先选择对最终输出影响最大的资源——无论是用于运动的参考视频还是用于角色一致性的图像。


如何使用参考

Seedance 2.0 使用**@ 提及系统**来指定如何使用每个上传的资源。这让您能够显式控制每个文件对生成的贡献。

入口点

  • 首帧/末帧模式:当您只需要起始图像加上提示时使用
  • 通用参考模式:用于多模态组合(图像 + 视频 + 音频 + 文本)

@ 语法

上传文件后,在提示中使用 @ 加上文件标识符来引用它们:

@Image1 作为第一帧,参考 @Video1 的摄影机运动,
使用 @Audio1 作为背景音乐

参考说明示例

用例提示模式
设置第一帧@Image1 作为第一帧
参考运动参考 @Video1 的打斗编排
复制摄影机工作跟随 @Video1 的摄影机运动和转场
添加音乐/节奏使用 @Audio1 作为背景音乐
延长视频将 @Video1 延长 5 秒
替换角色将 @Video1 中的女性替换为 @Image1

核心功能

1. 增强的基础质量

Seedance 2.0 在基础生成质量上提供了显著的改进:

  • 物理准确性:物体按照现实世界规则下落、碰撞和相互作用
  • 流畅运动:自然的运动,具有适当的动量和时序
  • 精确指令遵循:模型理解并执行复杂的提示
  • 风格一致性:在整个视频中保持视觉一致性

示例提示:

一个女孩优雅地晾衣服,完成一件,然后从篮子里拿出另一件,
用力抖动它。

该模型能够处理连续的动作、布料物理和自然的身体动力学,无需明确指导。

2. 多模态参考系统

这是 Seedance 2.0 的决定性特点。您可以参考上传资源中的几乎任何内容:

  • 参考视频中的运动模式
  • 创意模板中的视觉效果和转场
  • 参考图像中的角色外观
  • 电影摄影示例中的摄影机技术
  • 音乐轨道中的音频节奏和情绪

关键原则:使用自然语言描述您想要参考的内容。明确说明应该从哪个文件提取哪个元素(运动、风格、摄影机、角色)。

3. 角色和对象一致性

以前的模型在跨帧保持身份方面存在困难。Seedance 2.0 直接解决了这个问题:

  • 面部一致性:角色在整个过程中保持其外观
  • 产品细节保留:徽标、文本和精细细节保持准确
  • 场景连贯性:环境在镜头间保持一致
  • 风格锁定:视觉风格在生成过程中不会漂移

示例提示:

男人 @Image1 下班回家疲惫不堪,沿着走廊走,放慢脚步,
在前门停下。他脸部的特写,当他深呼一口气,表情从紧张
变为放松。他找到钥匙的特写,将其插入锁中。他进入,他的
女儿和宠物狗跑来拥抱他。室内温暖舒适,自然对话贯穿始终。

4. 运动和摄影机复制

上传参考视频,Seedance 2.0 可以提取并应用:

  • 复杂编排:打斗序列、舞蹈动作、动作场景
  • 摄影机技术:推拉镜头、跟踪、起重机运动、手持感觉
  • 编辑节奏:切割时序、转场风格、节奏
  • 特殊运动:希区柯克式变焦、甩镜、环绕镜头

示例提示:

参考 @Image1 的男人外观在 @Image2 的电梯设置中。完全复制
@Video1 的摄影机运动和主角的面部表情。惊吓时的希区柯克式
变焦,然后在电梯内进行多个环绕镜头。门打开,跟踪镜头跟随
他走出。外景参考 @Image3,男人环顾四周。参考 @Video1 的
机械臂多角度跟踪镜头,跟踪他的视线。

5. 创意模板复制

除了运动之外,您还可以复制整个创意概念:

  • 广告格式:产品展示、生活蒙太奇、品牌故事
  • 视觉效果:粒子系统、形变、风格化转场
  • 电影技术:开场序列、片头、戏剧性展示
  • 编辑风格:音乐视频剪辑、纪录片节奏、商业节奏

示例提示:

将 @Video1 中的人物替换为 @Image1 中的女孩。将月神 CG
替换为参考 @Image2 的天使。当女孩蹲下时,翅膀从她的背部
生长。翅膀在摄影机前扫过以实现转场。参考 @Video1 的摄影机
工作和转场。通过天使的瞳孔进入下一个场景,天使的航拍镜头
(旋转的翅膀匹配瞳孔),摄影机下降跟随天使的脸,在手臂抬起
时拉回以展示背景中的石天使雕像。一个连续镜头,始终如一。

6. 视频延长

在保持叙事连贯性的同时延长现有视频:

示例提示:

将 @Video1 延长 15 秒。参考 @Image1 和 @Image2 的摩托车上
的驴角色。添加一个狂野的广告序列:

场景 1:侧视图,驴在摩托车上冲破围栏,附近的鸡受到惊吓。

场景 2:驴在沙地上进行旋转特技,轮胎特写然后驴做圆圈的
开销镜头,尘埃上升。

场景 3:山脉背景,驴从斜坡跳下,广告文案通过遮罩效果
出现在后面(文本随着驴经过而展示):"激励创意,丰富生活"。
最后镜头:摩托车经过,尘埃云上升。

7. 视频编辑

修改现有视频而不需要从头再生:

  • 角色替换:在保持动作的同时交换一个人为另一个
  • 元素添加/删除:添加对象、删除干扰
  • 风格转移:应用新的视觉处理
  • 叙事变化:改变故事方向

示例提示:

颠覆 @Video1 的情节。男人的表情瞬间从温柔变为冷酷和无情。
在女人最不期待的时刻,他将她推下桥进入水中。这一推是
决定性的、有预谋的、毫不犹豫的——完全颠覆了浪漫角色的设置。
当她坠落时,没有尖叫,只有她眼中的难以置信。她浮起并喊道:
"你从一开始就在骗我!"他站在桥上用冷冷的笑容说:"这是你
家族欠我家族的。"

8. 音频同步生成

Seedance 2.0 生成带有原生音频的视频,并可以同步参考音频:

  • 多种语言的口型同步对话
  • 与屏幕动作匹配的音效
  • 跟随视觉节奏的背景音乐
  • 具有情感表达的配音

示例提示:

固定镜头。鱼眼镜头向下通过圆形开口查看。参考 @Video1 的
鱼眼效果。使 @Video2 中的马抬头看鱼眼镜头。参考 @Video1 的
说话动作。背景音频参考 @Video3 的音效。

9. 节拍同步编辑

创建音乐视频风格的内容来命中节拍:

示例提示:

海报中的女孩不断改变服装。衣着风格参考 @Image1 和 @Image2。
她拿着 @Image3 中的包。视频节奏参考 @Video1。

对于同步到音乐的多个图像:

图像 @Image1 至 @Image7 根据 @Video1 的关键帧位置和整体
节奏进行切割。框架中的角色更有活力。整体风格更梦幻。强烈的
视觉冲击。根据需要调整参考图像框架以适应音乐和视觉流。在
镜头之间添加灯光变化。

10. 一镜到底的连贯性

生成长的、不间断的镜头,具有一致的运动:

示例提示:

@Image1 至 @Image5,跟随跑步者上楼梯、穿过走廊、跑上屋顶、
以城市的开销视图结束的一个连续跟踪镜头。

示例提示:

间谍惊悚风格。@Image1 作为第一帧。正面跟踪镜头,红色外套
的女性向前走。全景镜头跟随她。行人重复遮挡框架。她到达
一个角落,参考 @Image2 的角落建筑。固定镜头,女性退出画框,
在角落周围消失。一个带着恶意的戴面具女孩在角落潜伏观察,
面具女孩的外观参考 @Image3(仅外观,她站在角落)。摄影机
推镜向前对向女性。她进入一座豪宅并消失。豪宅参考 @Image4。
没有切割。一个连续的镜头。

创意应用

广告和电子商务

使用同步的叙述、生活镜头和品牌故事创建产品演示。多模态系统让您可以参考现有的品牌资源,同时生成新内容。

内容本地化

生成具有原生口型同步的多语言视频改编。参考原始视频的运动,同时用不同语言生成新对话。

故事板到视频

将静态故事板面板转换为动画序列。上传您的面板作为参考图像,并描述它们之间的运动。

基于模板的创建

找到您喜欢的视频风格,将其作为参考上传,并使用您自己的角色和设置生成该风格的新内容。


最佳实践

  1. 明确参考:清楚地写出每个文件的用途。“参考 @Video1 的摄影机运动”比仅仅提及视频要好。

  2. 优先选择您的上传:在 12 文件限制的情况下,选择对输出影响最大的资源。

  3. 检查您的 @ 提及:使用多个文件时,仔细检查您没有混淆哪个图像、视频或音频去向。

  4. 指定编辑与参考:明确说明您是想编辑现有视频还是将其用作生成新内容的参考。

  5. 时长对齐:延长视频时,将生成时长设置为与新内容长度相匹配(例如,延长 5 秒 = 生成 5 秒)。

  6. 使用自然语言:该模型理解上下文。像对人类编辑一样描述您想要的内容。


接下来会发生什么

Seedance 2.0 的多模态功能继续演进。当新功能和输入组合可用时,我们会更新本指南。

如果您遇到问题或有功能请求,我们欢迎您的反馈——这是我们如何为每个人改进工具的方式。