WaveSpeedAI

Ekstensi ComfyUI-LTXVideo: Dukungan LoRA, Alur Kerja & Kapan Anda Membutuhkannya

Ekstensi ComfyUI-LTXVideo: Dukungan LoRA, Alur Kerja & Kapan Anda Membutuhkannya

Kali pertama saya mencoba ComfyUI LTXVideo, saya tidak mengejar fitur baru. Saya hanya ingin cara yang stabil untuk mengubah storyboard kasar menjadi gerakan tanpa harus mengawasi setiap frame. Hambatan kecil saya: satu lagi error “missing node” setelah hari yang panjang. Saya hampir menutup jendela. Sebaliknya, saya memberikannya waktu seminggu (awal Januari 2026) dan menjalankannya melalui beberapa proyek nyata: loop produk 12 detik, cuplikan pengajaran untuk kursus, dan salah satu eksperimen tekstur-ke-gerakan yang terlihat cerdas atau aneh.
Yang saya temukan bukan keajaiban. Tetapi itu membuat pekerjaan terasa lebih ringan di beberapa tempat yang tenang. Itulah biasanya sinyal yang saya cari.

Inti Bawaan vs Ekstensi: Apa Bedanya

Saya terus melihat orang membicarakan “dukungan LTXVideo di ComfyUI,” tetapi tidak jelas apa yang asli dan apa yang memerlukan bagian tambahan. Berikut adalah apa yang saya perhatikan dalam praktik.

  • Inti (ComfyUI base): Anda dapat menghubungkan alur teks-ke-gambar/video umum, menjadwalkan sampler, dan mengelola pengkondisian. Aplikasi dasar sangat solid untuk merutekan data, melihat pratinjau frame, dan menjaga run dapat direproduksi. Tetapi tidak dilengkapi dengan node LTX-Video khusus secara default.
  • Ekstensi (node khusus LTXVideo): Ini menambahkan node yang menyadari model (pemuat, sampler, blok pengkondisian) yang dibangun di sekitar arsitektur LTX-Video. Ekstensi memahami panjang gerakan model, jendela konteks, dan kendala kecil yang tidak memetakan dengan baik ke node generik.

Perbedaannya muncul ketika Anda mencoba melakukan lebih sedikit perekat manual. Hanya dengan node inti, saya sedang mengonjugasikan bentuk tensor, menebak default, dan memukul ketidaksesuaian bentuk. Dengan ekstensi terinstal, grafik menjadi lebih pendek dan kesalahan berkurang. Saya masih harus berpikir, hanya bukan tentang plambing.

Contoh kecil: Saya membangun loop 8–12 detik dengan pencahayaan yang konsisten dengan adegan. Versi hanya inti memakan waktu ~45 menit untuk menetap: biarkan saya katakan kepada Anda, versi ekstensi berjalan bersih pada percobaan kedua (sekitar 15 menit), karena sampler yang sudah dikabel dan perakit video menangani penyelarasan frame tanpa saya repot-repot dengannya.

Jadi, jika Anda mengevaluasi: inti sudah cukup jika Anda menyukai kontrol penuh dan tidak keberatan menghubungkan. Ekstensi adalah untuk ketika Anda peduli lebih banyak tentang run yang dapat diulang daripada pipa yang disesuaikan dengan tangan.

Apa yang Ditambahkan Ekstensi (alur kerja / node / LoRA)

Saya tidak mengharapkan banyak ketika saya mengklik ke dalam grafik contoh, saya telah melihat terlalu banyak alur kerja “starter” yang pada dasarnya adalah tangkapan layar. Ini lebih baik dari itu.

Apa yang membantu saya:

  • Node yang dibangun dengan tujuan: Pemuat model untuk LTX-Video, pemilih panjang gerakan yang menghindari jumlah frame aneh, dan sampler yang menghormati tempat manis waktu model. Mereka menghilangkan beberapa gotcha yang biasanya muncul hanya setelah render gagal.
  • Alur kerja contoh: Tiga saya terus kembali, dasar teks-ke-video, gambar-ke-video dengan injeksi gerakan, dan transfer gaya menggunakan LoRA. Masing-masing cukup jelas untuk dimulai, tetapi tidak begitu kaku sehingga Anda tidak dapat menukar bagian.
  • Kait LoRA: Ekstensi mengekspos kekuatan LoRA dan kombinasi dengan bersih. Saya dapat menumpuk LoRA gaya dengan LoRA identitas ringan dan tetap menjaga gerakan stabil. Saya harus mengatakan, itu langka dalam pengaturan video awal.

Satu kejutan kecil: penanganan warna default terasa lebih tenang daripada sebagian besar model video terbuka yang telah saya coba. Biru tidak meledak. Kulit tetap dalam jangkauan yang dapat dipercaya. Saya masih harus menggoyangkan eksposur, tetapi saya tidak memadamkan kebakaran saturasi.

Batas yang saya kena:

  • Urutan panjang (lebih dari ~12–16 detik) melayang kecuali saya memasukkan keyframe jangkar atau membagi run. Itu normal pada tahap ini, tetapi patut dicatat.
  • Penumpukan LoRA berat dapat goyah gerakan. Dua baik-baik saja, tiga berisiko kecuali Anda di bawah-krank kekuatan.

Langkah Instalasi & Pembaruan

Persiapan

  • Perbarui ComfyUI ke build terbaru. Saya menggunakan nightly Januari 2026 di kedua mesin.
  • Python 3.10–3.11 bermain paling bagus. Saya menyimpan venv segar per mesin.

Instal ekstensi LTXVideo

  • Gunakan ComfyUI-Manager jika Anda memilikinya: Cari “LTXVideo” atau “ComfyUI-LTXVideo” dan instal.
  • Rute manual: kloning repo ke ComfyUI/custom_nodes. Kemudian instal persyaratan (pip install -r requirements.txt) di dalam lingkungan Anda.

Model

  • Letakkan checkpoint LTX-Video di mana ekstensi mengharapkannya. Sebagian besar versi mencari di bawah models/ltxvideo atau models/checkpoints: node biasanya memberi tahu Anda jalur yang tepat saat melayang.
  • Jika Anda menggunakan LoRA, letakkan mereka di bawah models/loras (atau apa pun yang node daftar sebagai default).

CUDA dan runtime

  • Linux dengan CUDA 12.x dan PyTorch 2.3+ bekerja dengan mulus. Di macOS, Metal bekerja, tetapi saya menyimpan ukuran batch kecil.
  • Jika Anda melihat lonjakan memori pada run pertama, kurangi panjang gerakan atau atur presisi decode lebih rendah jika node mengeksposnya.

Pembaruan

  • Tarik terbaru dari repo ekstensi. Instal ulang persyaratan ketika komit besar mendarat (saya menjalankan ke dalam satu ketidakcocokan torch-vision dan bump protobuf: keduanya diperbaiki dengan reinstall bersih).
  • Hapus cache ComfyUI jika node tidak muncul setelah pembaruan. Restart cepat sering menyelesaikan impor basi.

Biaya waktu: Instalasi pertama memakan waktu ~20 menit di kotak Linux yang bersih, ~30 menit di macOS karena saya harus re-link beberapa build logam. Pembaruan adalah menit kecuali dependensi berubah.

Panduan Alur Kerja Contoh

Saya menjalankan tiga alur kerja beberapa kali masing-masing, menyesuaikan cukup untuk melihat betapa stabil mereka.

1. Teks-ke-video (dasar)

  • Penyiapan: Prompt, prompt negatif, pemuat LTX-Video, sampler model, dan penulis video pada 512–768 di tepi pendek. Saya menjaga panjang gerakan ke 8–12 detik.
  • Pengamatan: Lintasan pertama jarang mengenai pacing yang tepat, tetapi memberi saya “pengambilan dasar” yang stabil. Lintasan kedua dengan pengeditan prompt kecil memperbaiki sebagian besar masalah. Setiap render adalah 2–4 menit di A6000, ~6–8 di M3 Max.
  • Tip kecil: Jika gerakan terlihat mengambang, ketatkan bimbingan temporal atau kurangi CFG sedikit. Untuk saya, 4.5–6.5 adalah pita yang dapat digunakan.

2. Gambar-ke-video dengan injeksi gerakan

  • Penyiapan: Gambar referensi tunggal, ditambah LoRA gaya kekuatan rendah untuk menjaga tekstur konsisten. Saya menggunakan node gerakan ekstensi untuk mendorong hanyutan kamera daripada membiarkannya menginventariskan gerakan.
  • Pengamatan: Ini tidak menghemat waktu pada percobaan pertama, saya over-tuned. Pada run ketiga, saya menyadari itu menurunkan beban mental: lebih sedikit artefak untuk triage, lebih sedikit kejutan “apa itu di sudut?”
  • Catatan praktis: Jika subjek meliuk di sekitar frame 3–5, tambahkan gambar petunjuk pertengahan urutan atau bingkai jangkar. Saya menggunakan dua jangkar untuk klip 10 detik dan terasa terkunci.

3. Gaya dengan LoRA (ditambah identitas ringan)

  • Penyiapan: Prompt dasar, satu LoRA gaya pada 0.6–0.8, LoRA identitas pada 0.2–0.3, dan gerakan konservatif.
  • Pengamatan: Kombinasi diadakan lebih baik dari yang saya harapkan. Lebih kuat dari 0.8 pada gaya mulai “kilauan” tekstur, bagus untuk poster, aneh untuk gerakan. Menjaga identitas rendah menghindari pergeseran aneh.
  • Ekspor: Saya menulis ke ProRes untuk grading. H.264 bagus untuk pemeriksaan cepat, tetapi warna terlihat lebih baik ketika saya melakukan lintasan ringan di Resolve.

Melintasi run, saya menghemat mungkin 15–20 menit per klip dibandingkan menjahit node generik. Kemenangan yang lebih besar adalah lebih sedikit restart. Kurang menyesuaikan, lebih banyak memutuskan.

Dasar-Dasar LoRA & IC-LoRA

Saya cenderung mencapai LoRA hanya ketika saya membutuhkannya. Dengan LTXVideo, mereka layak langkah tambahan, terutama untuk konsistensi.

  • LoRA: Pikirkan itu sebagai sidik jari gaya ringan. Dalam video, dorong dengan lembut. Kekuatan di atas ~0.8 terlihat rapuh saat gerakan terakumulasi.
  • LoRA Identitas: Berguna untuk menjaga karakter atau produk stabil di seluruh frame. Saya suka nilai dalam rentang 0.15–0.35.
  • IC-LoRA (LoRA yang dikondisikan gambar): Di sinilah saya menemukan nilai praktis paling banyak. Memberi makan gambar referensi yang bersih ke IC-LoRA menenangkan detail (logo, wajah) tanpa membekukan adegan. Saya menggunakan satu gambar depan yang rapi dan kadang-kadang sudut samping sebagai isyarat sekunder.

Apa yang penting dalam praktik:

  • Referensi yang bersih mengalahkan prompt yang cerdas. Sampah masuk, sampah keluar, dan itu menunjukkan lebih banyak dalam gerakan.
  • Campur lebih sedikit, sesuaikan lebih ringan. Dua LoRA yang diterapkan dengan ringan bekerja lebih baik dari tiga yang saling bertarung.
  • Re-seed jika micro-jitter muncul. Seed baru ditambah jangkar yang sama sering menyelesaikan kerutan wajah kecil.

Perbaikan “Node Hilang”

Saya kena tiga jenis “node hilang” saat pengujian. Tidak ada yang dramatis, tetapi mereka memecah alur.

  • Ekstensi tidak dimuat: Pastikan folder LTXVideo duduk di bawah ComfyUI/custom_nodes dan memiliki __init__.py. Mulai ulang ComfyUI. Jika log menampilkan kesalahan impor, instal ulang persyaratan untuk node itu.
  • Drift Dependensi: Ketidakcocokan Torch/CUDA muncul sebagai kesalahan impor. Selaraskan versi PyTorch dan CUDA yang terdaftar dalam README ekstensi. Venv segar lebih cepat daripada men-debug yang berantakan.
  • Alur kerja lama, node baru: Beberapa grafik mereferensikan node yang diganti nama. Buka JSON, cari kelas node, dan petakan ke nama baru. Ekstensi CHANGELOG biasanya mencatat ini.

Pemeriksaan akal sehat cepat:

  • Perbarui ComfyUI-Manager, kemudian “pindai pembaruan.”
  • Hapus cache ComfyUI dan mulai ulang.
  • Konfirmasi jalur model di node muat, checkpoint yang hilang terlihat seperti node yang hilang dari sudut pandang UI.

Terapkan Alur Kerja Ini di WaveSpeed

Saya mencoba run cloud untuk melihat bagaimana ini diterjemahkan jauh dari meja saya. Di WaveSpeed, saya memutar ruang kerja ComfyUI dengan GPU kelas RTX dan memasukkan ekstensi LTXVideo dengan cara yang sama. Dua catatan jika Anda pergi rute ini:

  • Jaga model Anda tetap terorganisir: Saya menyinkronkan checkpoint dan LoRA LTX-Video ke folder yang diharapkan (models/ltxvideo, models/loras) terlebih dahulu, kemudian membuka grafik contoh. Percayakan saya, tidak ada kejutan sekali jalur cocok.
  • Panjang run: GPU cloud memungkinkan saya menguji klip 12–16 detik pada resolusi lebih tinggi tanpa khawatir VRAM. Itu tidak memperbaiki hanyutan dengan sendirinya, tetapi itu membuat iterasi lebih cepat, saya bisa merender tiga take secara paralel dan memilih penjaga.

Jika Anda bekerja di laptop, ini adalah cara yang bebas stres untuk menguji ide sebelum berkomitmen untuk instalasi lokal. Jarak tempuh Anda mungkin berbeda, tetapi itu menghemat saya dari beberapa loop kompilasi larut malam.

Pikiran kecil yang bertahan: LTXVideo di dalam ComfyUI tidak mencoba untuk memukau Anda di muka. Itu hanya mengurangi jumlah hal yang harus Anda tahan di kepala Anda sekaligus. Pada hari-hari sibuk, itu sudah cukup.