WaveSpeedAI
← 블로그

LTX 2.3 LipSync, WaveSpeedAI에 출시

LTX-2.3 Lipsync는 오디오에서 동기화된 입술 움직임과 자연스러운 얼굴 표정을 갖춘 말하는 얼굴 영상을 생성합니다. DiT 기반 아키텍처로 구축되어 있으며

5 min read
Wavespeed Ai Ltx.2.3 Lipsync
Wavespeed Ai Ltx.2.3 Lipsync LTX-2.3 Lipsync는 오디오에서 동기화된 입술 움직임과 자연스러운 얼굴 표정을 갖춘 말하는 얼굴 영...
Try it
LTX 2.3 LipSync, WaveSpeedAI에 출시

차세대 AI 립싱크가 드디어 왔습니다: LTX-2.3 Lipsync

오디오에서 사실적인 talking head 영상을 만드는 것이 이토록 쉬워진 적은—그리고 이토록 멋진 결과물을 낸 적도—없었습니다. WaveSpeedAI에 LTX-2.3 Lipsync가 출시되었음을 발표하게 되어 기쁩니다. Lightricks의 오디오 기반 영상 생성 모델의 최신 버전으로, 업그레이드된 LTX-2.3 DiT 아키텍처를 기반으로 이전 모델 대비 눈에 띄게 선명한 영상, 더욱 정확한 립싱크, 그리고 깔끔한 오디오-비주얼 정합성을 제공합니다.

기업 교육을 위한 가상 발표자 제작, 수십 개 언어로의 마케팅 영상 현지화, 또는 팟캐스트 오디오를 매력적인 영상 콘텐츠로 변환하는 작업—무엇이든 LTX-2.3 Lipsync는 간단한 API 호출 한 번으로 가능하게 합니다. 콜드 스타트 없이 생성당 $0.10부터 시작하는 가격으로 이용할 수 있습니다.

LTX-2.3 Lipsync란?

LTX-2.3 Lipsync는 오디오 파일과 선택적 참조 인물 이미지를 입력받아 talking head 영상을 생성하는 고급 AI 모델입니다. 음성 녹음을 입력하면, 정밀하게 동기화된 입 모양, 자연스러운 머리 움직임, 그리고 상황에 맞는 표정이 담긴 영상을 만들어냅니다.

이 모델은 Lightricks의 LTX-2.3 기반 위에 구축되어 있으며—영상과 오디오를 통합 파이프라인에서 함께 생성하는 Diffusion Transformer(DiT) 아키텍처입니다. 후처리 단계에서 정적인 얼굴에 입 애니메이션을 붙이는 기존 립싱크 방식과 달리, LTX-2.3은 발화와 시각적 움직임 사이의 깊은 관계를 이해합니다. 그 결과물은 단순히 입 모양을 음소에 맞추는 데 그치지 않고, 인간의 말이 자연스럽게 보이도록 만드는 미묘한 고개 기울임, 눈썹 움직임, 표정 변화까지 포착합니다.

2.3 버전에서는 더욱 선명한 세부 묘사와 사실적인 텍스처를 제공하는 새로운 VAE, 이전 모델의 정적이거나 떨리는 아티팩트를 제거한 향상된 모션 일관성, 그리고 더 나은 프롬프트 준수를 위한 게이트 어텐션 텍스트 커넥터가 도입되었습니다. 이는 단순한 점진적 개선이 아니라—모든 프레임에서 눈에 띄는 실질적인 품질 향상을 나타냅니다.

주요 기능

  • 향상된 오디오-비주얼 정합성: 업그레이드된 아키텍처가 다양한 언어와 발화 스타일에서 더욱 깔끔한 음소 매칭으로 더 정밀한 립싱크를 제공합니다
  • 선명한 영상 품질: 새로운 VAE가 더 또렷한 얼굴 특징, 더 사실적인 피부 텍스처, 그리고 영상 전반에 걸친 깨끗한 윤곽선을 생성합니다
  • 오디오 기반 생성: 오디오 파일을 업로드하면 립싱크, 머리 움직임, 눈 깜빡임, 표정 등 모든 것을 모델이 자동으로 처리합니다
  • 선택적 참조 이미지: 인물 사진을 제공해 발화자의 외모를 정의하거나, 모델이 기본값으로 생성하도록 할 수 있습니다
  • 유연한 해상도: 빠른 반복 작업에는 480p, 균형 잡힌 품질에는 720p, 프로덕션 출력에는 1080p를 선택하세요
  • 자동 길이 맞춤: 영상 길이가 오디오 입력에 자동으로 맞춰지며, 5초에서 20초 사이의 클립을 지원합니다
  • 프롬프트 기반 스타일: 선택적 텍스트 프롬프트를 사용해 생성 영상의 표정, 조명, 전반적인 스타일에 영향을 줄 수 있습니다

실제 활용 사례

마케팅 및 브랜드 콘텐츠

AI talking head 영상은 마케팅 팀의 운영 방식을 변화시키고 있습니다. Stellantis Financial Services, Sonesta Hotels 등의 기업들이 AI 생성 발표자를 활용해 영상 제작 비용을 60~80% 절감했다고 보고한 바 있습니다. LTX-2.3 Lipsync를 사용하면 제품 출시, 소셜 캠페인, 개인화된 마케팅을 위한 일관된 대변인 영상을 만들고, 단 한 프레임도 재촬영하지 않고 새로운 언어로 재생성할 수 있습니다.

기업 교육 및 이러닝

기업 교육 시장은 확장 가능한 교육 콘텐츠를 위해 AI 영상을 빠르게 도입하고 있습니다. LTX-2.3 Lipsync를 통해 교수 설계자들은 스크립트만으로 발표자가 등장하는 교육 영상을 제작할 수 있습니다. 오디오만 재녹음하면 강의 내용을 업데이트할 수 있어—스튜디오 시간도, 일정 조율도, 제작 지연도 필요 없습니다. 하나의 참조 이미지가 전체 교육 프로그램의 일관된 얼굴이 될 수 있습니다.

콘텐츠 현지화 및 더빙

글로벌 기업은 여러 언어로 된 콘텐츠가 필요합니다. 전통적인 더빙은 비용이 많이 들고 시간이 오래 걸립니다. LTX-2.3 Lipsync를 사용하면 기존 오디오 트랙을 어떤 언어로든 가져와 해당 언어에 맞는 정확한 입 모양의 talking head 영상을 생성할 수 있습니다. 언어마다 다른 입 모양과 발화 패턴의 차이를 모델이 자동으로 처리합니다.

팟캐스트 및 오디오-영상 변환

영상은 소셜 플랫폼에서 오디오 전용 콘텐츠보다 지속적으로 더 높은 성과를 냅니다. 팟캐스트 클립, 내레이션, 또는 보이스오버 녹음을 피드에서 주목을 끄는 engaging한 talking head 영상으로 변환하세요. 이는 YouTube Shorts, TikTok, Instagram Reels 등의 플랫폼을 위해 장편 오디오 콘텐츠를 짧은 영상 클립으로 재활용하는 데 특히 유용합니다.

접근성

청각 장애가 있는 시청자를 위한 시각적 음성 콘텐츠를 생성하거나, 명확한 시각적 발화 신호가 있는 설명 영상을 제작하거나, 오디오 중심 교육 콘텐츠를 위한 보조 시각 자료를 만드세요.

WaveSpeedAI에서 시작하기

LTX-2.3 Lipsync를 워크플로우에 통합하는 데는 단 몇 줄의 코드만 필요합니다:

import wavespeed

output = wavespeed.run(
    "wavespeed-ai/ltx-2.3/lipsync",
    {
        "audio": "https://your-audio-url.com/speech.mp3",
        "image": "https://your-image-url.com/portrait.jpg",
        "resolution": "720p"
    },
)

print(output["outputs"][0])  # 출력 영상 URL

API는 간단합니다:

  • audio (필수): 오디오 파일 URL—생성을 구동하며 영상 길이를 결정합니다
  • image (선택): 발화자의 외모를 정의하는 참조 인물 사진 URL
  • prompt (선택): 표정 스타일과 시각적 톤을 위한 텍스트 가이던스
  • resolution (선택): 480p, 720p (기본값), 또는 1080p

투명하고 합리적인 가격

가격은 오디오 길이와 해상도에 따라 조정됩니다:

해상도5초10초15초20초
480p$0.10$0.20$0.30$0.40
720p$0.15$0.30$0.45$0.60
1080p$0.20$0.40$0.60$0.80

구독 없음, 최소 약정 없음. 생성한 만큼만 지불하세요.

최상의 결과를 위한 팁

  1. 480p에서 시작하세요: 가장 낮은 해상도에서 오디오와 참조 이미지를 반복 테스트해 원하는 결과를 빠르게 찾은 후, 최종 버전을 720p 또는 1080p로 렌더링하세요.

  2. 깨끗한 오디오를 사용하세요: 배경 소음이 적은 명확한 발화가 최고의 립싱크 정확도를 만들어냅니다. 노이즈가 있는 녹음은 제출 전에 전처리하세요.

  3. 정면을 향한 인물 사진을 선택하세요: 얼굴이 명확히 보이고, 중립적인 표정에 조명이 좋은 참조 이미지가 가장 자연스러운 결과를 만들어냅니다.

  4. 프롬프트로 방향을 안내하세요: 선택적 프롬프트 파라미터를 사용해 표정과 스타일에 영향을 주세요—예를 들어, “따뜻한 미소, 전문적인 조명” 또는 “진지한 톤, 직접적인 눈 맞춤” 등입니다.

  5. 긴 콘텐츠는 분할하세요: 20초를 초과하는 콘텐츠의 경우, 여러 클립을 생성한 후 후반 작업에서 이어 붙이세요. 최적의 품질을 위해 각 세그먼트를 20초 이내로 유지하세요.

왜 WaveSpeedAI인가요?

WaveSpeedAI에서 LTX-2.3 Lipsync를 실행하면 프로덕션에서 중요한 인프라 장점을 누릴 수 있습니다:

  • 콜드 스타트 없음: 요청이 즉시 처리 시작—GPU가 워밍업될 때까지 기다릴 필요 없음
  • 빠른 추론: 최적화된 서빙 인프라가 빠른 반복 작업을 위한 결과를 신속하게 제공
  • 간단한 REST API: 최소한의 통합 작업으로 모든 애플리케이션에 talking head 생성 기능 추가
  • 예측 가능한 비용: 숨겨진 수수료 없는 투명한 생성당 가격 책정

지금 바로 만들어보세요

LTX-2.3 Lipsync는 오디오 기반 영상 생성 품질에서 상당한 도약을 보여줍니다. 향상된 시각적 충실도, 더욱 정확한 립싱크, 그리고 프롬프트 기반 생성의 실용적인 유연성이 결합되어 현재 API를 통해 사용할 수 있는 가장 유능한 립싱크 모델 중 하나가 되었습니다.

첫 번째 talking head 영상을 만들 준비가 되셨나요? WaveSpeedAI에서 LTX-2.3 Lipsync를 사용해보세요 그 차이를 직접 확인하세요.

공유