Прекратите обучение, начните создавать: используйте LoRA на WaveSpeedAI

Введение

Что такое LoRA? Представьте это как лёгкий метод тонкой настройки: вместо переподготовки всей модели вы можете просто добавить небольшой слой “быстрой адаптации” к существующей модели, чтобы закрепить свой собственный стиль — быстрее и дешевле.

В этом руководстве мы начнём с нуля, покажем вам, как найти LoRA модели, которые вам нравятся в интернете, и как их использовать в WaveSpeedAI. Даже если вы новичок, вы быстро начнёте работать.

Выбор модели

При создании изображений и видео с помощью AIGC мы обычно можем управлять моделью только через подсказки, что затрудняет управление мелкими деталями. Если вы полагаетесь на то, что модель “поймёт сама” такие вещи, как позы рук, складки ткани или элементы одежды, результаты часто оказываются неудовлетворительными.

В этом случае вы можете изучить открытые платформы, чтобы найти LoRA модели, поделённые создателями. От общего стиля искусства и текстуры камеры до конкретных поз, нарядов и крошечных аксессуаров. Целевые LoRA могут улучшить детали и дать вам больше контроля — без переподготовки модели.

Однако помните одно важное правило при выборе LoRA: она должна точно соответствовать базовой модели AIGC, которую вы используете — одно и то же имя модели, одна и та же версия и одинаковый размер параметров.

Например, LoRA, разработанная для Wan 2.2, не может быть использована на Wan 2.1 или на какой-либо другой модели. Аналогично, LoRA Wan 2.2 14B не может быть использована на Wan 2.2 5B.

Если это не совпадает, стиль может измениться в лучшем случае. В худшем случае вы можете столкнуться с ошибками. Всегда внимательно проверяйте информацию на странице модели перед её использованием!

Дважды проверьте версию и параметры

P.S. На WaveSpeedAI LoRA работают из одного файла .safetensors. Просто импортируйте его и всё готово. Избегайте .PickleTensor, .zip, .GGUF и т. д., потому что WaveSpeedAI не поддерживает эти форматы.

Обратите внимание на размер файла. LoRA обычно занимают менее 2 ГБ (часто всего несколько сотен МБ). Если ваша загрузка значительно больше, вы можете выбрать неправильный файл (например, полную базовую модель или сжатый пакет), и импорт будет неудачным. Перед повторной попыткой дважды проверьте имя файла и расширение!

Вот две часто используемые платформы: Civitai и Hugging Face.

Платформа Civitai

Платформа Hugging Face

LoRA на Hugging Face

Hugging Face — один из крупнейших в мире хабов моделей с открытым исходным кодом, предлагающий огромный каталог моделей и наборов данных. Вы можете искать LoRA и находить официальные веса и руководства по выводу для популярных базовых моделей.

В этой части мы сосредоточимся на LoRA — как её найти, выбрать на Hugging Face и использовать на WaveSpeedAI.

Начните с ввода LoRA в строку поиска в верхней части сайта, чтобы просмотреть связанные репозитории.

Поиск LoRA

Далее нажмите See all model results for “LoRA” (Просмотреть все результаты модели для “LoRA”), чтобы увидеть полную страницу результатов LoRA.

Для своих собственных поисков включайте квалификаторы, такие как имя базовой модели, версия и размер параметров (например, 7B/14B). Это сужает поиск и показывает более релевантные результаты.

Страница результатов модели

На Hugging Face модели LoRA обычно указывают совместимую базовую модель и размер параметров в названии или описании.

Например, prithivMLmods/Qwen-Image-Anime-LoRA — это LoRA, созданная для Qwen-Image и используемая для создания изображений в стиле японского аниме.

prithivMLmods/Qwen-Image-Anime-LoRA

Как показано на странице, Qwen-Image-Anime-LoRA опубликована prithivMLmods и специально разработана для базовой модели Qwen-Image.

Далее переключитесь на WaveSpeedAI и откройте модель wavespeed-ai/qwen-image/text-to-image-lora. Мы будем использовать её для загрузки и запуска этой LoRA.

wavespeed-ai/qwen-image/text-to-image-lora

На странице Playground модели вы найдёте поле ввода prompt для введения вашей подсказки, а также раздел loras для добавления LoRA модели.

При написании подсказки, помимо чёткого описания сцены, стиля и деталей, которые вы хотите, помните о необходимости включить слово-триггер LoRA! Эту информацию вы обычно найдёте на странице Hugging Face в Model Card.

Например, на странице модели prithivMLmods/Qwen-Image-Anime-LoRA прокрутите вниз Model Card, чтобы найти дополнительные детали, такие как инструкции по использованию модели и точное требуемое слово-триггер.

Слова-триггеры в Model Card

После этого мы модифицируем параметры, связанные с LoRA моделью.

Первый — это path (путь). Это маршрут, который WaveSpeedAI использует для вызова нужной вам LoRA модели.

Нажмите + Add Item (+ Добавить элемент), чтобы открыть поле ввода. Конвейер qwen-image/text-to-image-lora позволяет добавлять до трёх LoRA моделей.

Кроме того, если LoRA модель размещена на Hugging Face, WaveSpeedAI предоставляет два способа её ссылки: один — это <owner>/<model-name>.

Как в этом примере — имя автора плюс имя модели, как показано на странице модели.

Скопируйте это и вставьте в path!

Другой метод — перейти в раздел Files and versions (Файлы и версии) модели, щёлкнуть правой кнопкой мыши на значок загрузки, выбрать Copy link address (Копировать адрес ссылки) и вставить скопированный URL в path.

Кнопка загрузки в Files and versions

Иногда вы можете видеть варианты high-noise LoRA (LoRA с высоким шумом) и low-noise LoRA (LoRA с низким шумом) на странице модели. Они обычно не часто используются, но Hugging Face обычно предоставляет подробную информацию о них.

Просто заполните LoRA моделью с совпадающим именем в соответствующем поле, как вы делали бы обычную LoRA, и она будет работать хорошо.

В параметрах loras есть ползунок под названием scale (масштаб), который вы можете думать как “влияние/концентрация” регулятор громкости. Он регулирует, насколько сильно LoRA влияет на базовую модель.

В большинстве случаев значение по умолчанию 1 даст вам хорошие результаты. Если результат отличается от ваших ожиданий, вы можете немного увеличить scale.

Seed (семя) используется для управления случайностью. Думайте о нём как о “начальном индексе”.

Когда вы используете одно и то же семя, а затем изменяете подсказку, общий стиль и композиция останутся в основном одинаковыми. Только части, которые вы изменили в подсказке, будут другими, что облегчает сравнение и воспроизведение.

Отлично! Вы завершили всю подготовительную работу! Начнём использовать LoRA модель!

В поле подсказки сначала введите слово-триггер Qwen Anime для LoRA модели. Затем предоставьте описание результата, который вы хотите создать.

Введите слово-триггер

Затем в поле loras, в path, введите prithivMLmods/Qwen-Image-Anime-LoRA или его URL, и оставьте масштаб на уровне 1.

Установите путь

Затем установите seed, чтобы вы могли легко воспроизвести любые желаемые результаты позже.

Случайный номер семени

Наконец, нажмите кнопку Run (Запустить), чтобы создать изображение в стиле аниме!

Результат

Поскольку мы уже установили семя ранее, если вам нравятся фон и детали стиля (такие как одежда), но вы хотите изменить пол персонажа, просто отредактируйте подсказку и нажмите Run ещё раз.

Знаете, я просто хотел сравнить результаты

Как это выглядит? Вы видите изменения? Попробуйте сами! WaveSpeedAI имеет множество базовых моделей, которые могут вызывать LoRA. Не стесняйтесь экспериментировать, а затем поделитесь своей работой на Inspiration с нами и более широким сообществом создателей!

Страница Inspiration

LoRA на Civitai

Civitai — это сообщество, ориентированное на создателей, которое делится моделями и имеет широкое разнообразие LoRA ресурсов. Вы можете искать по стилю или теме, просматривать примеры результатов и параметры, и быстро найти подходящую модель.

Страница Civitai

Метод поиска на Civitai похож на Hugging Face: введите детали, такие как версия модели и размер параметров, в строку поиска. Добавьте ключевое слово “LoRA”, чтобы быстро отфильтровать большое количество релевантных моделей (например: “Wan 2.2 14B LoRA”).

Базовое использование похоже на вызов моделей на Hugging Face, поэтому мы подробно объясним только различия.

Используя дизайн игры в качестве примера, если вы хотите создать персонажа со стилем, похожим на Baldur’s Gate 3, вы можете напрямую попробовать LoRA [WAN2.1] Baldur’s Gate 3 [STYLE].

Страница [WAN2.1] Baldur’s Gate 3 [STYLE]

Однако обратите внимание, что для моделей на платформе Civitai WaveSpeedAI не будет поддерживать вызов LoRA моделей, используя формат <owner>/<model-name>.

Они могут быть вызваны только через URL. Поэтому убедитесь, что вы просмотрели информацию модели перед её вызовом.

Детали LoRA модели

В разделе Details (Детали) модели вы можете увидеть различную информацию о модели.

Основные элементы, на которые нужно обратить внимание, — это Base Model (Базовая модель) и Trigger Words (Слова-триггеры). Здесь мы видим, что базовая модель этой LoRA — это Wan Video 14B t2v, а слово-триггер — 3d render in bg artstyle.

Откройте WaveSpeedAI и найдите wavespeed-ai/wan-2.1/t2v-720p-lora. Конечно, вы также можете выбрать другие модели, поддерживающие вызов LoRA (такие как wavespeed-ai/wan-2.1/i2v-720p-lora).

Страница wavespeed-ai/wan-2.1/t2v-720p-lora

Как и на платформе Hugging Face, вам нужно только изменить подсказку и добавить слово-триггер LoRA в Prompt, затем включить URL для вызова LoRA модели в path.

Используйте scale для управления тем, насколько LoRA влияет на базовую модель (значение по умолчанию 1 обычно достаточно. Если это кажется слишком слабым или слишком сильным, сделайте небольшие корректировки), и наконец используйте seed для воспроизведения и сравнения.

Некоторые модели имеют специфические параметры, но на WaveSpeedAI мы уже установили значения по умолчанию для вас. Использование их непосредственно даст вам хорошие результаты!

Если вы хотите уточнить детали далее, вы можете попробовать их отрегулировать. Однако обратите внимание, что для параметров, таких как num_inference_steps, чем выше значение, тем более заметным будет увеличение времени создания видео.

Здесь вы найдёте раздел загрузки для LoRA модели. Убедитесь, что вы выбираете тип модели SafeTensor для правильного функционирования.

Загрузить LoRA

Щёлкните правой кнопкой мыши на Download (Загрузить), затем скопируйте адрес ссылки — это URL, который вы будете использовать для вызова LoRA модели.

Аналогично, в Playground wavespeed-ai/wan-2.1/t2v-720p-lora найдите раздел loras, нажмите + Add Item (+ Добавить элемент) и вставьте только что скопированный URL в path.

Вставить в path

Если вы не уверены, как более эффективно использовать LoRA, вы можете проверить ссылки на Civitai. Авторы моделей часто предоставляют примеры, на которые вы можете щёлкнуть и просмотреть.

Страница примера с ресурсами и подсказкой

Здесь мы скопируем подсказку из примера автора, чтобы попробовать создать свой собственный игровой персонаж.

Результат, который мы сделали!

Разве это не удивительно? Созданный результат может немного отличаться от результата автора, но вы можете настроить подсказку в направлении своей цели (уточнить стиль, материалы, камеру и настроение, а также добавить или удалить модификаторы по мере необходимости), чтобы постепенно достичь желаемого эффекта.

В конце концов, наиболее значимые работы — это не копии других, а те, которые всегда демонстрируют вашу собственную уникальную текстуру и стиль — это ровно то место, где находится безмолвное взаимопонимание между LoRA и вашим творчеством.

Заключение

К этому моменту вы научились использовать LoRA модели, которые вам нравятся, на WaveSpeedAI. Но помните, LoRA не будет делать эстетические выборы за вас. Она только стабилизирует детали после того, как вы определили направление. То, что действительно делает работу уникальной, — это всегда ваш вкус и воображение.

Так что будьте смелыми — пробуйте, учитесь и продолжайте совершенствоваться. Когда вы поделитесь своими первыми результатами на Inspiration и будете расти вместе с сообществом, вы увидите, что эффективность — это только начало. Признание вашего стиля — вот настоящая цель.

Желаем вам гладкого творчества и успеха, как вы и представляли!