Memperkenalkan LTX-2 19B ControlNet: Transformasi Video-ke-Video Presisi dengan Panduan Pose, Kedalaman, dan Edge

Lanskap pembuatan video AI telah mencapai tonggak baru. LTX-2 19B ControlNet membawa kekuatan panduan struktural ke transformasi video, memungkinkan kreator untuk membentuk kembali konten video sambil mempertahankan gerakan dan dinamika yang membuat footage menarik. Dibangun di atas arsitektur Diffusion Transformer 19 miliar parameter terobosan Lightricks, model ini merupakan lompatan signifikan maju dalam pembuatan video yang terkontrol.

Apa itu LTX-2 19B ControlNet?

LTX-2 19B ControlNet adalah model transformasi video-ke-video yang menggunakan deteksi pose, kedalaman, atau canny edge untuk memandu pembuatan konten video baru sambil mempertahankan struktur gerakan dari input Anda. Model beroperasi pada dasar yang sama kuatnya dengan keluarga LTX-2—transformer diffusi dual-stream asimetris dengan 48 lapisan yang memproses token video dan audio secara bersamaan.

Yang membedakan model ini adalah kemampuannya untuk menghasilkan konten audio-video yang disinkronkan hingga panjang 20 detik. Arsitektur membagi 19 miliar parameternya secara strategis: sekitar 14 miliar untuk pemrosesan video dan 5 miliar untuk audio, memungkinkan output multimodal yang koheren dalam satu lintasan.

Integrasi ControlNet memungkinkan Anda memilih dengan tepat bagaimana model menginterpretasikan video sumber Anda. Baik Anda ingin mempertahankan gerakan manusia melalui deteksi pose, mempertahankan struktur adegan melalui pemetaan kedalaman, atau mengikuti tepi presisi melalui deteksi canny, Anda memiliki kontrol penuh atas proses transformasi.

Fitur Utama

Tiga Mode Panduan untuk Setiap Kasus Penggunaan

Mode Pose: Mengekstrak informasi rangka dan pose dari video input Anda, ideal untuk transfer gerakan manusia dan karakter. Mode ini melacak posisi tubuh secara andal di seluruh frame, menjadikannya sempurna untuk urutan tari, gerakan atletik, atau konten apa pun di mana gerakan manusia adalah fokusnya.
Mode Kedalaman: Membuat peta kedalaman dari video sumber Anda untuk mempertahankan struktur adegan dan hubungan spasial. Gunakan ini ketika Anda ingin mengubah lingkungan, mengubah gaya visual, atau menerapkan efek kreatif sambil mempertahankan geometri fundamental dari footage Anda.
Mode Canny Edge: Mendeteksi tepi dalam materi sumber Anda untuk memandu pembuatan sambil mempertahankan bentuk dan garis besar. Mode ini unggul dalam aplikasi transfer gaya di mana Anda perlu mempertahankan batas visual yang presisi.

Penanganan Audio Fleksibel

Model menawarkan tiga mode audio untuk memenuhi kebutuhan kreatif Anda:

Preserve: Simpan trek audio asli dari video input Anda—penting untuk skenario sinkronisasi bibir
Generate: Buat audio baru yang disinkronkan yang sesuai dengan visual yang ditransformasi
None: Output video senyap untuk proyek di mana Anda akan menambahkan audio secara terpisah

Integrasi Gambar Referensi

Unggah gambar referensi untuk menentukan penampilan video yang ditransformasi. Model akan menerapkan karakteristik visual dari referensi Anda sementara video input mengontrol semua gerakan. Ini memungkinkan transformasi yang didorong karakter yang kuat di mana Anda dapat menghidupkan gambar karakter apa pun dengan gerakan dari footage referensi.

Peningkatan Prompt Bawaan

Penyempurna prompt terintegrasi secara otomatis meningkatkan deskripsi teks Anda untuk hasil yang lebih baik. Dikombinasikan dengan pengkode teks Gemma-3 model, yang memahami isyarat bahasa bernuansa termasuk emosi karakter, gerakan kamera, dan arah pencahayaan, fitur ini membantu Anda mencapai hasil profesional tanpa rekayasa prompt yang ekstensif.

Kasus Penggunaan Dunia Nyata

Animasi Karakter dan Transfer Gerakan

Ubah gambar karakter statis menjadi video yang sepenuhnya animasi dengan menerapkan gerakan dari footage referensi. Baik Anda bekerja dengan karakter bergambar, fotografi, atau avatar digital, mode panduan pose menangkap gerakan dengan akurat sambil gambar referensi menentukan output visual.

Transfer Tari untuk Media Sosial

Buat konten menarik dengan mentransfer gerakan tari viral ke subjek apa pun. Mode pose melacak posisi tubuh frame demi frame, memungkinkan Anda mengubah video tari menjadi animasi bergaya—sempurna untuk konten TikTok, Instagram Reels, dan YouTube Shorts.

Transfer Gaya Video

Terapkan transformasi visual dramatis pada footage yang ada sambil mempertahankan gerakan asli. Gunakan mode kedalaman untuk mempertahankan struktur adegan saat Anda mengubah gaya visual, atau mode canny edge ketika pelestarian bentuk presisi paling penting.

Konsistensi Karakter dalam Produksi Video

Untuk kreator yang mengerjakan konten seri atau video bermerek, fitur gambar referensi memastikan penampilan karakter yang konsisten di seluruh klip berganda. Gerakan dapat berasal dari video sumber yang berbeda sementara penampilan karakter tetap seragam.

Pembuatan Video Sinkronisasi Bibir

Pertahankan audio asli sambil mengubah penampilan visual subjek Anda. Alur kerja ini sangat berharga untuk membuat konten dubbing, versi animasi footage langsung, atau modifikasi video yang menjaga privasi.

Memulai di WaveSpeedAI

Menggunakan LTX-2 19B ControlNet di WaveSpeedAI sangat mudah:

Unggah video sumber Anda — Ini menyediakan struktur gerakan untuk output Anda
Tambahkan gambar referensi (opsional) — Tentukan penampilan yang Anda inginkan dalam video yang ditransformasi Anda
Tulis prompt Anda — Jelaskan apa yang ingin Anda buat
Pilih mode kontrol Anda — Pilih pose, kedalaman, atau canny berdasarkan kebutuhan Anda
Pilih penanganan audio — Pertahankan asli, buat baru, atau tidak ada
Tetapkan resolusi Anda — 480p untuk iterasi cepat, 720p untuk kualitas seimbang, 1080p untuk render final
Buat — Kirim dan unduh video yang ditransformasi Anda

import wavespeed

output = wavespeed.run(
    "wavespeed-ai/ltx-2-19b/control",
    {
        "video": "https://example.com/source-video.mp4",
        "image": "https://example.com/reference.jpg",
        "prompt": "A person dancing in a futuristic neon city",
        "mode": "pose",
        "audio_mode": "generate",
        "resolution": "720p"
    },
)

print(output["outputs"][0])

Harga

Model mengikuti penetapan harga per detik yang mudah dipahami berdasarkan resolusi:

Resolusi	5s	10s	15s	20s
480p	$0.15	$0.30	$0.45	$0.60
720p	$0.20	$0.40	$0.60	$0.80
1080p	$0.30	$0.60	$0.90	$1.20

Tips Pro untuk Hasil Terbaik

Cocokkan pose awal: Selaraskan pose subjek dalam gambar referensi Anda dengan pose awal dalam video sumber Anda untuk hasil yang mulus
Pilih mode yang tepat: Gunakan pose untuk gerakan manusia/karakter, kedalaman untuk struktur adegan, canny untuk presisi berbasis edge
Ulangi secara efisien: Mulai pada 480p untuk menyempurnakan pendekatan Anda, kemudian render output final pada 720p atau 1080p
Strategi audio: Pertahankan audio untuk proyek sinkronisasi bibir, buat untuk konten segar, atau gunakan tidak ada ketika Anda akan menambahkan audio dalam post

Mengapa WaveSpeedAI?

WaveSpeedAI menawarkan lingkungan ideal untuk menjalankan LTX-2 19B ControlNet:

Tanpa cold start: Pekerjaan Anda mulai diproses segera tanpa penundaan infrastruktur
Inferensi yang dioptimalkan: Penyebaran yang dioptimalkan NVIDIA memastikan Anda mendapatkan waktu pembuatan tercepat yang mungkin
Harga transparan: Bayar hanya untuk yang Anda buat dengan penagihan per detik yang jelas
API siap produksi: Integrasikan langsung ke dalam aplikasi dan alur kerja Anda

Mulai Membuat Hari Ini

LTX-2 19B ControlNet membuka kemungkinan baru untuk pembuat video, animator, dan pengembang yang membutuhkan kontrol presisi atas transformasi video. Kombinasi mode panduan ControlNet, penanganan audio fleksibel, dan arsitektur DiT 19B yang kuat memberikan hasil berkualitas profesional pada titik harga yang dapat diakses.

Siap untuk mengubah video Anda dengan panduan struktural presisi? Coba LTX-2 19B ControlNet di WaveSpeedAI dan temukan apa yang mungkin ketika Anda memiliki kontrol penuh atas pembuatan video AI.