Einführung in LTX-2 19B ControlNet: Präzise Video-zu-Video-Transformation mit Pose-, Tiefe- und Kantenführung

Die Landschaft der KI-Videogenerierung hat einen neuen Meilenstein erreicht. LTX-2 19B ControlNet bringt die Kraft der strukturellen Führung zur Videotransformation und ermöglicht es Erstellern, Videoinhalte umzugestalten und dabei die Bewegung und Dynamik zu bewahren, die Aufnahmen überzeugend machen. Basierend auf Lightricks’ bahnbrechender Diffusions-Transformer-Architektur mit 19 Milliarden Parametern stellt dieses Modell einen bedeutenden Fortschritt bei der kontrollierten Videogenerierung dar.

Was ist LTX-2 19B ControlNet?

LTX-2 19B ControlNet ist ein Video-zu-Video-Transformationsmodell, das Pose-, Tiefe- oder Canny-Kantenerkennung verwendet, um die Generierung neuer Videoinhalte zu steuern und dabei die Bewegungsstruktur aus deiner Eingabe zu bewahren. Das Modell basiert auf der gleichen leistungsstarken Grundlage wie die LTX-2-Familie – einen asymmetrischen Dual-Stream-Diffusions-Transformer mit 48 Schichten, der Video- und Audio-Token gleichzeitig verarbeitet.

Was dieses Modell auszeichnet, ist seine Fähigkeit, synchronisierte Audio-Video-Inhalte mit einer Länge von bis zu 20 Sekunden zu generieren. Die Architektur verteilt ihre 19 Milliarden Parameter strategisch: ungefähr 14 Milliarden für die Videoverarbeitung und 5 Milliarden für Audio, was kohärente multimodale Ausgabe in einem einzigen Durchgang ermöglicht.

Die ControlNet-Integration ermöglicht es dir, genau zu bestimmen, wie das Modell dein Quellvideo interpretiert. Egal ob du Menschenbewegungen durch Posenerkennung bewahren möchtest, Szenario-Struktur durch Tiefenabbildung aufrechterhalten oder präzise Kanten durch Canny-Erkennung verfolgen möchtest – du hast vollständige Kontrolle über den Transformationsprozess.

Wichtigste Funktionen

Drei Führungsmodi für jeden Anwendungsfall

• Pose-Modus: Extrahiert skelettale und Pose-Informationen aus deinem Eingabevideo, ideal für Menschen- und Charakter-Bewegungsübertragung. Dieser Modus verfolgt zuverlässig die Körperpositionierung über Frames hinweg und eignet sich perfekt für Tanzsequenzen, athletische Bewegungen oder jeden Inhalt, bei dem Menschenbewegung im Mittelpunkt steht.

• Tiefe-Modus: Erstellt Tiefenkarten aus deinem Quellvideo, um Szenario-Struktur und räumliche Beziehungen zu bewahren. Nutze dies, wenn du Umgebungen transformieren, visuelle Stile ändern oder kreative Effekte anwenden möchtest und dabei die grundlegende Geometrie deiner Aufnahmen bewahrst.

• Canny Edge-Modus: Erkennt Kanten in deinem Quellmaterial, um die Generierung zu steuern und dabei Formen und Konturen zu bewahren. Dieser Modus zeichnet sich in Stilübertragungsanwendungen aus, bei denen du präzise visuelle Grenzen beibehalten musst.

Flexible Audioverarbeitung

Das Modell bietet drei Audiomodi, die deinen kreativen Anforderungen entsprechen:

• Bewahren: Behalte die ursprüngliche Audiospur aus deinem Eingabevideo – notwendig für Lip-Sync-Szenarien
• Generieren: Erstelle neues synchronisiertes Audio, das zu den transformierten Bildern passt
• Keine: Stille Videoausgabe für Projekte, bei denen du Audio später hinzufügst

Referenzbildintegration

Lade ein Referenzbild hoch, um das Aussehen deines transformierten Videos zu definieren. Das Modell wendet die visuellen Merkmale deiner Referenz an, während das Eingabevideo alle Bewegungen steuert. Dies ermöglicht kraftvolle zeichengesteuerte Transformationen, bei denen du jedes Charakterbild mit Bewegung aus Referenzmaterial animieren kannst.

Integrierte Prompt-Verbesserung

Der integrierte Prompt-Enhancer verbessert automatisch deine Textbeschreibungen für bessere Ergebnisse. Kombiniert mit dem Gemma-3-Text-Encoder des Modells, der nuancierte Sprachhinweise versteht, einschließlich Charakteremotionen, Kamerabewegungen und Beleuchtungsrichtungen, hilft dir diese Funktion, professionelle Ergebnisse zu erzielen, ohne umfangreiches Prompt-Engineering zu benötigen.

Praktische Anwendungsfälle

Charakteranimation und Bewegungsübertragung

Verwandle ein statisches Charakterbild in ein vollständig animiertes Video, indem du Bewegung aus Referenzmaterial anwendest. Egal ob du mit illustrierten Charakteren, Fotografien oder digitalen Avataren arbeitest – der Pose-Guidance-Modus erfasst Bewegungen genau, während das Referenzbild die visuelle Ausgabe definiert.

Tanzübertragung für soziale Medien

Erstelle ansprechende Inhalte, indem du virale Tanzbewegungen auf jeden Gegenstand überträgst. Der Pose-Modus verfolgt Frame für Frame die Körperpositionierung und ermöglicht es dir, Tanzvideos in stilisierte Animationen umzuwandeln – perfekt für TikTok-, Instagram Reels- und YouTube Shorts-Inhalte.

Video-Stilübertragung

Wende dramatische visuelle Transformationen auf bestehendes Videomaterial an und bewahre dabei die ursprüngliche Bewegung. Nutze den Tiefe-Modus, um die Szenario-Struktur beizubehalten, während du visuelle Stile änderst, oder Canny Edge-Modus, wenn präzise Formbewährung am wichtigsten ist.

Charakterkonsistenz in der Videoproduktion

Für Ersteller, die an Serieninhalten oder Markenvideos arbeiten, stellt die Referenzbildfunktion konsistente Charaktererscheinung über mehrere Clips hinweg sicher. Die Bewegung kann aus verschiedenen Quellvideos stammen, während das Charakteraussehen einheitlich bleibt.

Lip-Sync-Videoerzeugung

Bewahre das ursprüngliche Audio, während du das visuelle Erscheinungsbild deines Subjekts transformierst. Dieser Arbeitsablauf ist besonders wertvoll für die Erstellung von synchronisiertem Inhalt, animierten Versionen von Live-Aufnahmen oder datenschutzwahrende Videoänderungen.

Erste Schritte auf WaveSpeedAI

Die Verwendung von LTX-2 19B ControlNet auf WaveSpeedAI ist unkompliziert:

1. Lade dein Quellvideo hoch – Dies bietet die Bewegungsstruktur für deine Ausgabe
2. Füge ein Referenzbild hinzu (optional) – Definiere das Aussehen, das du in deinem transformierten Video haben möchtest
3. Schreibe deinen Prompt – Beschreibe, was du erstellen möchtest
4. Wähle deinen Steuerungsmodus – Wähle Pose, Tiefe oder Canny basierend auf deinen Anforderungen
5. Wähle die Audioverarbeitung – Bewahre Original, generiere neu oder keine
6. Stelle deine Auflösung ein – 480p für schnelle Iterationen, 720p für ausgewogene Qualität, 1080p für endgültige Rendering
7. Generiere – Sende ab und lade dein transformiertes Video herunter

import wavespeed

output = wavespeed.run(
    "wavespeed-ai/ltx-2-19b/control",
    {
        "video": "https://example.com/source-video.mp4",
        "image": "https://example.com/reference.jpg",
        "prompt": "A person dancing in a futuristic neon city",
        "mode": "pose",
        "audio_mode": "generate",
        "resolution": "720p"
    },
)

print(output["outputs"][0])

Preisgestaltung

Das Modell folgt unkomplizierter Pro-Sekunden-Preisgestaltung basierend auf der Auflösung:

Auflösung	5s	10s	15s	20s
480p	$0,15	$0,30	$0,45	$0,60
720p	$0,20	$0,40	$0,60	$0,80
1080p	$0,30	$0,60	$0,90	$1,20

Pro-Tipps für beste Ergebnisse

• Abstimmung der Startposen: Richte die Subjektpose in deinem Referenzbild mit der Startpose in deinem Quellvideo ab, um nahtlose Ergebnisse zu erzielen
• Wähle den richtigen Modus: Verwende Pose für Menschen-/Charakterbewegung, Tiefe für Szenario-Struktur, Canny für kantenbasierte Präzision
• Iteriere effizient: Beginne bei 480p, um deinen Ansatz zu verfeinern, dann rendering die endgültige Ausgabe bei 720p oder 1080p
• Audiostrategie: Bewahre Audio für Lip-Sync-Projekte, generiere für frische Inhalte oder verwende keine, wenn du Audio in der Nachbearbeitung hinzufügst

Warum WaveSpeedAI?

WaveSpeedAI bietet die ideale Umgebung zum Ausführen von LTX-2 19B ControlNet:

• Keine Kaltstarts: Deine Jobs beginnen sofort mit der Verarbeitung ohne Infrastrukturverzögerungen
• Optimierte Inferenz: NVIDIA-optimierte Bereitstellung stellt sicher, dass du die schnellstmöglichen Generierungszeiten erhältst
• Transparente Preisgestaltung: Zahle nur für das, was du mit klarer Pro-Sekunden-Abrechnung generierst
• Produktionsreife API: Integriere direkt in deine Anwendungen und Arbeitsabläufe

Beginne heute zu erstellen

LTX-2 19B ControlNet eröffnet neue Möglichkeiten für Videografen, Animatoren und Entwickler, die präzise Kontrolle über Videotransformationen benötigen. Die Kombination aus ControlNet-Führungsmodi, flexibler Audioverarbeitung und der leistungsstarken 19B DiT-Architektur liefert professionelle Qualitätsergebnisse zu erschwinglichen Preisen.

Bereit, deine Videos mit präziser struktureller Führung zu transformieren? Probiere LTX-2 19B ControlNet auf WaveSpeedAI aus und entdecke, was möglich ist, wenn du volle Kontrolle über die KI-Videogenerierung hast.