LTX 2 19b LipSync теперь на WaveSpeedAI

Представляем LTX-2 19B Lipsync: генерация синхронизированного видео говорящей головы с использованием аудио

Грань между статичными изображениями и динамичным видеоконтентом продолжает размываться благодаря достижениям в области ИИ. Сегодня мы с гордостью объявляем о доступности LTX-2 19B Lipsync на WaveSpeedAI—мощной модели на основе аудио, которая преобразует портретные изображения в синхронизированные видео говорящей головы с поразительной точностью и естественным движением.

Создаёте ли вы цифровые аватары, локализуете контент на разные языки или производите образовательные видео в масштабе, LTX-2 Lipsync обеспечивает результаты профессионального уровня через простой REST API без холодных стартов и доступными ценами.

Что такое LTX-2 19B Lipsync?

LTX-2 Lipsync построен на прорывной базовой модели LTX-2 компании Lightricks—архитектуре Diffusion Transformer (DiT) с 19 миллиардами параметров, специально разработанной для синхронизированной аудиовизуальной генерации. В отличие от традиционных инструментов синхронизации губ, которые просто анимируют движения рта, LTX-2 понимает двусторонние отношения между аудио и видео: речь определяет движение рта, в то время как визуальный контекст влияет на то, насколько естественным выглядит результат.

Модель использует асимметричную двухпоточную архитектуру трансформера с двусторонними слоями кросс-внимания и временными позиционными кодировками. Эта техническая сложность переводится в практические преимущества: подкадровая точность в аудиовизуальном выравнивании, естественные движения головы, сопровождающие речь, и выражения, соответствующие эмоциональному тону аудио.

В результате получаются видео говорящей головы, которые не просто движутся—они кажутся живыми.

Основные возможности

• Генерация на основе аудио: загрузите аудиофайл и опциональное эталонное изображение, а модель автоматически справится с синхронизацией губ, движением головы и выражением лица
• Архитектура DiT с 19B параметрами: огромное количество параметров обеспечивает детальное видео с высокой временной согласованностью и естественными движениями рта, соответствующими речевым паттернам
• Гибкие опции разрешения: выбирайте между 480p (быстрая итерация), 720p (сбалансированное качество) или 1080p (максимальная детализация) в соответствии с вашим рабочим процессом и бюджетом
• Поддержка переменной длительности: генерируйте видео от 5 до 20 секунд, с длиной, автоматически определяемой входящим аудио
• Синтез естественных выражений: выходит за рамки базовых движений губ, включая тонкие наклоны головы, движения глаз и выражения лица, сопровождающие естественную речь
• Поддержка многоязычности: работает на разных языках, обрабатывая нюансы различных речевых паттернов и форм рта

Примеры использования в реальной жизни

Цифровые аватары и виртуальные ведущие

Создавайте последовательные видео говорящей головы для виртуальных хостов, бренд-амбассадоров или AI-ведомых представителей служб поддержки. Поддерживайте визуальную согласованность во всем неограниченном контенте, варьируя произносимое сообщение.

Локализация контента и дубляж

Дублируйте существующий видеоконтент на новые языки, сохраняя внешний вид первоначального говорящего. Это особенно ценно для глобальных маркетинговых кампаний, учебных материалов и развлекательного контента, который должен охватить международную аудиторию.

Социальные сети и маркетинг

Создавайте привлекательный контент говорящей головы в масштабе для социальных платформ. Создавайте персонализированные видеосообщения, объявления о продуктах или образовательный контент без затрат на традиционное видеопроизводство.

E-Learning и образовательный контент

Генерируйте обучающие видео с последовательными виртуальными ведущими. Идеально подходит для онлайн-курсов, корпоративного обучения и образовательных платформ, которым нужно эффективно производить большие объёмы видеоконтента.

Приложения для доступности

Создавайте синхронизированный визуальный контент для целей доступности, включая видео интерпретации жестового языка или озвученный контент с чёткими визуальными речевыми подсказками.

Начало работы на WaveSpeedAI

Использование LTX-2 Lipsync через API WaveSpeedAI просто. Вот простой пример:

import json
import os
import time
from urllib.request import Request, urlopen

api_key = os.environ["WAVESPEED_API_KEY"]
headers = {"Authorization": f"Bearer {api_key}", "Content-Type": "application/json"}
payload = {
    "audio": "https://interactive-examples.mdn.mozilla.net/media/cc0-audio/t-rex-roar.mp3",
    "resolution": "720p",
    "seed": -1
}

def request_json(url, data=None):
    request = Request(url, data=data, headers=headers, method="POST" if data else "GET")
    with urlopen(request) as response:
        return json.load(response)

# 1. Submit the prediction.
submit_body = request_json("https://api.wavespeed.ai/api/v3/wavespeed-ai/ltx-2-19b/lipsync", json.dumps(payload).encode())
task = submit_body.get("data", submit_body)
prediction_id = task.get("id")
if not prediction_id:
    raise RuntimeError("Submission response did not contain a prediction id")
result_url = task.get("urls", {}).get("get") or f"https://api.wavespeed.ai/api/v3/predictions/{prediction_id}/result"

# 2. Poll until the prediction finishes.
while True:
    body = request_json(result_url)
    result = body.get("data", body)
    status = result.get("status")
    if status == "completed":
        print(result.get("outputs", []))
        break
    if status in {"failed", "cancelled", "timeout"}:
        raise RuntimeError(result)
    if status not in {"created", "processing"}:
        raise RuntimeError(f"Unexpected status: {status}")
    time.sleep(2)

API принимает три ключевых параметра:

• audio (обязательно): URL аудиофайла—это управляет синхронизацией губ и определяет длину видео
• image (опционально): URL эталонного портрета, определяющего внешность говорящего
• resolution (опционально): качество вывода—480p, 720p (по умолчанию) или 1080p

Ценообразование, масштабируемое в соответствии с вашими потребностями

Ценообразование LTX-2 Lipsync прозрачно и доступно:

Разрешение	5 секунд	10 секунд	15 секунд	20 секунд
480p	$0.075	$0.15	$0.225	$0.30
720p	$0.10	$0.20	$0.30	$0.40
1080p	$0.15	$0.30	$0.45	$0.60

Начните с 480p для быстрой итерации, затем масштабируйте до более высоких разрешений для окончательной доставки.

Советы для получения наилучших результатов

1. Используйте чистое, высокачественное аудио: чем чище ваше речевое аудио, тем лучше синхронизация губ. Минимизируйте фоновый шум и обеспечьте согласованные уровни громкости.

2. Выбирайте портреты в анфас: эталонные изображения с четко видимыми ртами и нейтральными выражениями работают лучше всего. Избегайте экстремальных углов или скрытых лиц.

3. Итерируйте при более низком разрешении: настройте ваши результаты при 480p перед рендерингом финальных версий при 720p или 1080p, чтобы сэкономить время и затраты.

4. Используйте фиксированные сиды для сравнения: при сравнении вариантов установите фиксированное значение сида, чтобы изолировать эффекты изменений других параметров.

5. Держите аудио под 20 секунд: максимальная длительность видео составляет 20 секунд. Для более длительного контента генерируйте несколько клипов и объединяйте их в пост-продакшене.

Почему WaveSpeedAI?

Запуск LTX-2 Lipsync на WaveSpeedAI означает, что вы получаете:

• Без холодных стартов: ваши запросы начинают обработку немедленно—без ожидания запуска инфраструктуры
• Быстрый вывод: оптимизированная инфраструктура быстро доставляет результаты, обеспечивая быструю итерацию
• Простой REST API: интегрируйте возможности синхронизации губ в ваши приложения всего с несколькими строками кода
• Прозрачное ценообразование: платите только за то, что вы генерируете, без скрытых комиссий или минимальных обязательств

Начните создавать сегодня

LTX-2 19B Lipsync представляет значительный шаг вперёд в доступной, высококачественной генерации видео говорящей головы. Сочетание продвинутой архитектуры DiT компании Lightricks с оптимизированной инфраструктурой вывода WaveSpeedAI делает синхронизацию губ профессионального уровня доступной для любого разработчика или создателя контента.

Готовы оживить ваши изображения? Попробуйте LTX-2 Lipsync на WaveSpeedAI и испытайте управляемую аудио генерацию видео, которая просто работает.