Seedance 2.0 Vollständiger Leitfaden: Multimodale Videoerstellung

Seedance 2.0 Vollständiger Leitfaden: Multimodale Videoerstellung

Seedance 2.0 stellt einen grundlegenden Wandel in der KI-Videogenerierung dar. Dieses Modell basiert nicht nur auf Textanfragen oder einzelnen Referenzbildern, sondern akzeptiert Bilder, Videos, Audio und Text als Eingaben – wodurch Sie jeden Aspekt Ihrer Erstellung wie ein echter Filmemacher lenken können.

Das herausragende Merkmal ist seine Referenzfähigkeit: Sie können den visuellen Stil mit einem Bild festlegen, Bewegung und Kameraführung mit einem Video angeben, den Rhythmus mit Audio vorantreiben und die Erzählung mit Text lenken. Das Ergebnis ist eine Kontrollgenauigkeit, die in der generativen Videografie bisher unmöglich war.


Schnelle Spezifikationen

ParameterSpezifikation
BildeingabenBis zu 9 Bilder
VideoeingabenBis zu 3 Videos, max. 15s gesamt
AudioeingabenBis zu 3 MP3-Dateien, max. 15s gesamt
TexteingabeNatürlichsprachliche Anweisungen
Ausgabedauer4–15 Sekunden (wählbar)
AudioausgabeNative Soundeffekte und Musik
Gesamtes Dateilimit12 Dateien pro Generierung

Wenn Sie mit mehreren Dateien arbeiten, priorisieren Sie die Assets, die die größte Auswirkung auf Ihr Endergebnis haben – sei es ein Referenzvideo für die Bewegung oder ein Bild für die Zeichenkohärenz.


Referenzen verwenden

Seedance 2.0 verwendet ein @ Erwähnungssystem, um anzugeben, wie jedes hochgeladene Asset verwendet werden soll. Dies gibt Ihnen explizite Kontrolle darüber, wie jede Datei zur Generierung beiträgt.

Einstiegspunkte

  • Erst-/Letzter-Frame-Modus: Verwenden Sie, wenn Sie nur ein Startbild plus eine Anweisung benötigen
  • Universal Reference Mode: Verwenden Sie für multimodale Kombinationen (Bilder + Videos + Audio + Text)

Die @ Syntax

Nachdem Sie Dateien hochgeladen haben, referenzieren Sie diese in Ihrer Anweisung mit @ gefolgt von der Dateikennung:

@Image1 als erstes Frame, referenzieren Sie @Video1 für Kamerabewegung,
verwenden Sie @Audio1 für Hintergrundmusik

Beispiele für Referenzanweisungen

AnwendungsfallAnweisungsmuster
Erstes Frame festlegen@Image1 als erstes Frame
Bewegung referenzierenReferenzieren Sie @Video1 für die Kampfchoreografie
Kameraführung kopierenFolgen Sie den Kamerabewegungen und Übergängen von @Video1
Musik/Rhythmus hinzufügenVerwenden Sie @Audio1 für die Hintergrundmusik
Video verlängernVerlängern Sie @Video1 um 5 Sekunden
Charakter ersetzenErsetzen Sie die Frau in @Video1 mit @Image1

Kernfunktionen

1. Verbesserte Basisqualität

Seedance 2.0 bietet erhebliche Verbesserungen in der grundlegenden Generierungsqualität:

  • Physikalische Genauigkeit: Objekte fallen, kollidieren und interagieren nach echten Gesetzen
  • Flüssige Bewegung: Natürliche Bewegungsabläufe mit korrektem Momentum und Timing
  • Genaue Befolgung von Anweisungen: Das Modell versteht und führt komplexe Anweisungen aus
  • Stilkohärenz: Wahrt visuelle Konsistenz während des gesamten Videos

Beispielanweisung:

Ein Mädchen hängt elegant Wäsche auf, beendet ein Stück und greift
nach einem anderen aus dem Korb, schüttelt es kräftig aus.

Das Modell verarbeitet die kontinuierliche Aktion, die Stoffphysik und natürliche Körpermechanik ohne explizite Vorgaben.

2. Multimodales Referenzsystem

Dies ist das kennzeichnende Merkmal von Seedance 2.0. Sie können praktisch alles aus Ihren hochgeladenen Assets referenzieren:

  • Bewegungsmuster aus Referenzvideos
  • Visuelle Effekte und Übergänge aus kreativen Vorlagen
  • Charaktererscheinungen aus Referenzbildern
  • Kameratechniken aus kinematografischen Beispielen
  • Audiorrhythmus und Stimmung aus Musikstücken

Grundprinzip: Verwenden Sie natürliche Sprache, um zu beschreiben, was Sie referenzieren möchten. Seien Sie spezifisch darüber, welches Element (Bewegung, Stil, Kamera, Charakter) aus welcher Datei extrahiert werden soll.

3. Charakter- und Objektkohärenz

Frühere Modelle hatten Schwierigkeiten, die Identität über Frames hinweg zu bewahren. Seedance 2.0 adressiert dies direkt:

  • Gesichtskohärenz: Charaktere behalten ihr Aussehen während des gesamten Videos
  • Produktdetail-Bewahrung: Logos, Text und feine Details bleiben akkurat
  • Szenenkohärenz: Umgebungen bleiben über Aufnahmen hinweg konsistent
  • Stil-Fixierung: Der visuelle Stil driftet nicht während der Generierung ab

Beispielanweisung:

Mann @Image1 kommt erschöpft von der Arbeit nach Hause, geht den Flur
hinunter und verlangsamt sein Tempo, stoppt an der Haustür. Close-up
seines Gesichts, als er tief durchatmet, seinen Ausdruck von gestresst
zu entspannt wechselt. Close-up davon, wie er seine Schlüssel findet,
sie ins Schloss steckt. Er betritt das Haus und seine Tochter und sein
Hund laufen herbei, um ihn zu umarmen. Das Innere ist warm und gemütlich,
mit natürlichem Dialog durchgehend.

4. Bewegungs- und Kameraphantasie

Laden Sie ein Referenzvideo hoch und Seedance 2.0 kann extrahieren und anwenden:

  • Komplexe Choreografie: Kampfsequenzen, Tanzschritte, Actionszenen
  • Kameratechniken: Dolly-Aufnahmen, Tracking, Kranbewegungen, handheld-Gefühl
  • Schnitt-Rhythmus: Schnitt-Timing, Übergangsstile, Tempo
  • Spezielle Bewegungen: Hitchcock-Zoom, Whip-Pans, Orbit-Aufnahmen

Beispielanweisung:

Referenzieren Sie @Image1 für das Aussehen des Mannes in @Image2s
Fahrstuhlszenario. Replizieren Sie vollständig die Kamerabewegungen
von @Video1 und die Gesichtsausdrücke des Protagonisten. Hitchcock-Zoom
beim Erschrecken, dann mehrere Orbit-Aufnahmen im Fahrstuhl. Türen öffnen
sich, Tracking-Aufnahme folgt ihm hinaus. Außenszene referenziert @Image3,
Mann schaut sich um. Referenzieren Sie die mechanische Arm-Multi-Winkel-
Verfolgungsaufnahmen von @Video1, die seiner Blicklinie folgen.

5. Kreative Vorlagen-Replikation

Über Bewegung hinaus können Sie ganze kreative Konzepte replizieren:

  • Werbeformate: Produktoffenbarungen, Lifestyle-Montagen, Markengeschichten
  • Visuelle Effekte: Partikelsysteme, Morphing, stilisierte Übergänge
  • Filmtechniken: Eröffnungssequenzen, Titelkarten, dramatische Reveals
  • Bearbeitungsstile: Musikvideo-Schnitte, dokumentarisches Tempo, Werbe-Rhythmus

Beispielanweisung:

Ersetzen Sie die Person in @Video1 mit dem Mädchen in @Image1. Ersetzen
Sie den Mondschwester-CG mit einem Engel, der @Image2 referenziert. Wenn
sich das Mädchen hinhockt, wachsen Flügel aus seinem Rücken. Flügel
fegen an der Kamera vorbei für den Übergang. Referenzieren Sie die
Kameraführung und Übergänge von @Video1. Betreten Sie die nächste Szene
durch die Pupille des Engels, Luftaufnahme des Engels (wirbelnde Flügel
entsprechen der Pupille), Kamera senkt sich beim Folgen des Engelsgesichts,
zieht sich beim Armheben zurück, um die Stein-Engel-Statuen im Hintergrund
zu offenbaren. Eine durchgehende Aufnahme durchgehend.

6. Videoverlängerung

Erweitern Sie bestehende Videos, während Sie narrative Kohärenz bewahren:

Beispielanweisung:

Verlängern Sie @Video1 um 15 Sekunden. Referenzieren Sie @Image1 und
@Image2 für den Esel-auf-Motorrad-Charakter. Fügen Sie eine wilde
Werbesequenz hinzu:

Szene 1: Seitenaufnahme, Esel bricht auf Motorrad durch Zaun,
benachbarte Hühner erschrocken.

Szene 2: Esel führt Spinning-Stunts auf Sand aus, Reifen-Close-up
dann Luftaufnahme von Esel, der Kreise macht, Staub steigt auf.

Szene 3: Berghintergrund, Esel startet von Abhang, Werbetext
erscheint hinter durch Maskierungseffekt (Text wird beim Vorbeifahren
des Esels offenbart): "Kreativität inspirieren, Leben bereichern".
Schlussaufnahme: Motorrad fährt vorbei, Staubwolke steigt auf.

7. Videobearbeitung

Ändern Sie bestehende Videos, ohne sie von Grund auf neu zu generieren:

  • Charakterersetzung: Tauschen Sie eine Person gegen eine andere aus, während Sie die Aktion behalten
  • Element-Addition/Entfernung: Fügen Sie Objekte hinzu, entfernen Sie Ablenkungen
  • Stil-Transfer: Wenden Sie neue visuelle Behandlungen an
  • Narrative Änderungen: Ändern Sie die Handlungsrichtung

Beispielanweisung:

Verdrehen Sie die Handlung von @Video1. Der Ausdruck des Mannes
wechselt sofort von zärtlich zu kalt und skrupellos. In dem Moment,
in dem die Frau es am wenigsten erwartet, stößt er sie von der Brücke
ins Wasser. Der Stoß ist entscheidend, vorausberechnet, ohne Zögern –
völlig gegen das romantische Charaktersetup. Während sie fällt, kein
Schrei, nur Ungläubigkeit in ihren Augen. Sie taucht auf und ruft ihm
zu: „Du hast mir von Anfang an Lügen erzählt!" Er steht auf der Brücke
mit einem kalten Lächeln und sagt leise: „Das ist, was deine Familie
meiner schuldet."

8. Audiosynchronisierte Generierung

Seedance 2.0 generiert Videos mit nativem Audio und kann sich mit Referenzaudio synchronisieren:

  • Lip-Sync-Dialog in mehreren Sprachen
  • Soundeffekte abgestimmt auf On-Screen-Aktionen
  • Hintergrundmusik nach visuellem Rhythmus
  • Sprachschauspiel mit emotionalem Ausdruck

Beispielanweisung:

Festaufnahme. Fischauge-Linse, die nach unten durch kreisförmige
Öffnung schaut. Referenzieren Sie den Fischauge-Effekt von @Video1.
Machen Sie das Pferd aus @Video2 nach oben zu dem Fischauge-Objektiv
schauen. Referenzieren Sie die Sprechbewegung von @Video1.
Hintergrund-Audio referenziert die Soundeffekte von @Video3.

9. Beat-Synchronisierte Bearbeitung

Erstellen Sie Musikvideo-ähnliche Inhalte, die die Beats treffen:

Beispielanweisung:

Das Mädchen auf dem Poster wechselt ständig Outfits. Kleidungsstile
referenzieren @Image1 und @Image2. Sie hält die Tasche von @Image3.
Video-Rhythmus referenziert @Video1.

Für mehrere an Musik synchronisierte Bilder:

Bilder @Image1 bis @Image7 schneiden zu den Keyframe-Positionen
und dem Gesamtrhythmus von @Video1. Charaktere im Frame sind dynamischer.
Der Gesamtstil ist träumerischer. Starker visueller Effekt.
Passen Sie die Referenzbildrahmung nach Bedarf für Musik und visuellen
Fluss an. Fügen Sie Beleuchtungswechsel zwischen Aufnahmen hinzu.

10. Ununterbrochene One-Take-Kontinuität

Generieren Sie lange, unterbrochene Aufnahmen mit konsistenter Bewegung:

Beispielanweisung:

@Image1 bis @Image5, eine kontinuierliche Tracking-Aufnahme, die
einem Läufer die Treppe hinauf, durch Flure, aufs Dach folgt und
mit einer Luftaufnahme der Stadt endet.

Beispielanweisung:

Spionage-Thriller-Stil. @Image1 als erstes Frame. Vorderfacing
Tracking-Aufnahme einer Frau in rotem Mantel, die nach vorne geht.
Vollaufnahme folgt ihr. Fußgänger blockieren wiederholt den Frame.
Sie erreicht eine Ecke, referenzieren Sie die Eckarchitektur von
@Image2. Festaufnahme, während Frau den Frame verlässt, um die Ecke
verschwindet. Ein maskiertes Mädchen lauert an der Ecke und beobachtet
bösartig, Maskengesicht-Erscheinung referenziert @Image3 (nur Erscheinung,
sie steht an der Ecke). Kamera schwenkt nach vorne auf die Frau in Rot.
Sie betritt ein Herrenhaus und verschwindet. Herrenhaus referenziert
@Image4. Keine Schnitte. Eine kontinuierliche Aufnahme.

Kreative Anwendungen

Werbung und E-Commerce

Erstellen Sie Produktdemonstration mit synchronisierter Erzählung, Lifestyle-Aufnahmen und Markenerzählung. Das multimodale System ermöglicht es Ihnen, auf bestehende Marken-Assets zu referenzieren, während Sie neue Inhalte generieren.

Content-Lokalisierung

Generieren Sie mehrsprachige Videoadaptationen mit nativem Lip-Sync. Referenzieren Sie das Original-Video für Bewegung, während Sie neuen Dialog in verschiedenen Sprachen generieren.

Storyboard zu Video

Wandeln Sie statische Storyboard-Panels in animierte Sequenzen um. Laden Sie Ihre Boards als Referenzbilder hoch und beschreiben Sie die Bewegung zwischen ihnen.

Vorlage-basierte Erstellung

Finden Sie einen Videostil, der Ihnen gefällt, laden Sie ihn als Referenz hoch und generieren Sie neue Inhalte in diesem Stil mit Ihren eigenen Charakteren und Einstellungen.


Best Practices

  1. Seien Sie explizit bei Referenzen: Schreiben Sie klar, welche Datei wofür ist. „Referenzieren Sie die Kamerabewegung von @Video1” ist besser als die bloße Nennung des Videos.

  2. Priorisieren Sie Ihre Uploads: Mit einer 12-Datei-Grenze wählen Sie Assets, die die größte Auswirkung auf Ihre Ausgabe haben.

  3. Überprüfen Sie Ihre @ Erwähnungen: Überprüfen Sie bei mehreren Dateien doppelt, dass Sie nicht verwirrt haben, welches Bild, Video oder Audio wohin geht.

  4. Geben Sie Bearbeitung vs. Referenz an: Machen Sie klar, ob Sie ein bestehendes Video bearbeiten möchten oder es als Referenz für die Generierung neuer Inhalte verwenden möchten.

  5. Dauer-Ausrichtung: Beim Verlängern von Video stellen Sie Ihre Generierungsdauer auf die neue Inhaltslänge ein (z.B. um 5s verlängern = 5s generieren).

  6. Verwenden Sie natürliche Sprache: Das Modell versteht Kontext. Beschreiben Sie, was Sie möchten, wie Sie es einem menschlichen Editor erzählen würden.


Was kommt als nächstes

Die multimodalen Fähigkeiten von Seedance 2.0 entwickeln sich weiterhin. Wir werden diesen Leitfaden aktualisieren, wenn neue Funktionen und Eingabekombinationen verfügbar werden.

Wenn Sie auf Probleme stoßen oder Funktionswünsche haben, freuen wir uns auf Ihr Feedback – so machen wir das Tool für alle besser.