Kling 2.6 Motion Control: Шаблоны подсказок, которые действительно движут нужные части

Спустя несколько дней тестирования Kling 2.6 я постоянно натыкался на одну и ту же проблему: я просил помахать рукой, а смещалось плечо целиком, или просил камере приблизиться, а персонаж резко наклонялся вперёд, как будто его тянули за верёвку. Не драматические ошибки, просто та низкого уровня проблема “движется не то”, которая медленно подтачивает доверие.

Поэтому я отложил день в сторону, заварил кофе и попытался понять, что на самом деле слышит модель, когда решает, что двигать. То, что следует дальше, — это не рецензия. Это заметки, которые я хотел бы иметь с первого дня: как я направил Kling 2.6 к надежному управлению движением, не превращая каждый запрос в целый абзац.

Почему происходит “движется не то”

Kling 2.6 хорош в правдоподобном движении. Ему хуже дается хирургическое движение. Когда я попросил его “поднять её правую руку”, я понял, что модель парсит не только слова: она также полагается на полученные приоры того, как обычно двигаются тела и что обычно делает камера. Поверьте, вот тогда и начинается веселье.

Вот паттерны, которые я постоянно видел:

Неоднозначные ссылки: Если есть два вероятных действующих лица (персонаж и камера), Kling иногда приписывает движение камере, потому что так сцены остаются стабильнее. “Приблизиться” может стать персонажем, идущим вперёд.
Перекрытие + симметрия: Если правая рука частично скрыта или похожа на левую в позе, она зеркалирует или меняет стороны. Боковое освещение и кадрирование помогают больше, чем формулировка.
Временная размытость: Без точек и длительности движение размазывается по всему клипу. Вот тогда вы получаете вечный микродрожь или персонажа, который не может оставаться на месте.

Ничего из этого не ошибка. Модель подстраховывается для реалистичности. Решение для меня было говорить с Kling так, как режиссер движений разговаривает с небольшой командой: кто движется, какая часть, на сколько, с какой скоростью и что остаётся неподвижным.

Контрольный список токенов движения

Kling не требует специального синтаксиса, но создание себе небольшого шаблона “токена движения” держало меня в тонусе. Я писал их в строке, на простом языке, как метки внутри запроса. И вот — это сделало огромную разницу.

Мой список токенов выглядит так:

Актёр: кто движется (персонаж, левая рука, камера, фоновый свет). Один актёр на токен.
Действие: глагол, сохранённый в малом, когда важна точность (наклон, взгляд, поднятие, лёгкий поворот).
Сторона/часть: точная конечность или объект (правый запястье, левая бровь, указательный палец, поворот камеры).
Величина: маленькая, средняя, большая, или градусы/счёт когда нужно (15°, 2 шага, 3 кадра).
Длительность + время: когда это происходит и как долго (удар 1–2 сек, удержание 1 сек, цикл).
Ограничение: что остаётся неподвижным (торс заблокирован, камера заблокирована, лицо нейтрально).
Отрицание: что не должно двигаться (без сдвига плеча, без зума, волосы спокойны).

Я обычно заключаю их в скобки, чтобы они были для меня сканируемы, опять же, для себя, а не для Kling:

[actor: right hand] [action: wave] [magnitude: small] [duration: 1s] [constraint: shoulder locked] [negative: no camera movement]

Паттерн 1: управление конечностями

Проблема конечностей — классическая. Я хотел лёгкий взмах рукой без полного раскачивания верхней части тела. Мои первые попытки провалились, потому что я попросил “мягкий взмах”. Kling услышал “взмах” и анимировал всю цепь.

Что сработало лучше:

Сначала назовите самый маленький движущийся сустав. “Правое запястье щелкает, пальцы ведут, плечо остаётся нейтральным.”
Добавьте противоограничение. “Торс привязан к стулу. Без качания бёдер.”
Дайте ему точку. “Взмах происходит в 0:02–0:03, затем отдых.”
Держите симметрию под контролем. “Левая рука остаётся на столе, неподвижна.”

Реальный срез запроса, который производил чистое движение:

“Персонаж сидит за деревянным столом. Спокойный свет. Правое запястье делает небольшой боковой взмах, пальцы выполняют большую часть движения. Плечо и локоть остаются устойчивыми. Это движение происходит один раз между 2–3 секундами, затем рука возвращается в положение отдыха на столе. Левая рука остаётся неподвижна. Без движения камеры.”

Когда важна точность, я устанавливаю визуальный якорь: “Правое запястье лежит рядом с кружкой кофе: движутся только пальцы.” Якоря снижают неопределённость модели о том, где живут суставы.

Паттерн 2: камера

Половина моих клипов “движется не то” были на самом деле подменой камеры и персонажа. Я просил “мягкое приближение”, и модель заставила персонажа наклониться вперёд. Разумно, но не то, что я хотел.

Как я их разделил:

Объявите установку камеры. “Камера на штативе, едва заметный 5% зум за 2 секунды.”
Заморозьте персонажа. “Персонаж остаётся полностью неподвижен, только дыхание.”
Избегайте глаголов, которые звучат как действия тела. Я говорю “zoom-in” или “dolly-in”, а не “move closer”.
Используйте числа. “5% зум, линейный, 2s, по центру кадра.”

Срез запроса, который себя вёл:

“Неподвижный кадр. Камера выполняет медленный, линейный 5% зум-ин с 0–2 секунд. Персонаж не наклоняется и не шагает. Никакого изменения параллакса. Фон остаётся неподвижен.”

Если я хочу параллакс (долли), я его называю: “camera dolly-in, shallow parallax on bookshelf, subject locked to frame center.” Эта одна строка мешает модели подделать движение наклоном персонажа.

Ещё одна заметка: Kling 2.6 иногда добавляет ручную тряску для “кинематографа”. Если вы этого не хотите, скажите: “no handheld shake, no micro-jitter.”

Паттерн 3: микродвижение

Микродвижение — это то, где Kling 2.6 удивил меня в хорошем смысле. Небольшие, устойчивые изменения выглядят естественно — саккады глаз, дыхание, дрейф ткани — если вы держите глаголы мягкими, а длительности короткими.

Что сработало:

Глаза: “две маленькие саккады глаз влево→центр в первую секунду, веки мягкие, голова неподвижна.”
Дыхание: “тонкий подъём груди 4–6 мм за 3 секунды, затем падение, цикл один раз.”
Ткань/волосы: “едва заметный ветерок, кончики волос движутся, корни устойчивы: подол куртки трепещет 0.5с.”
Реквизит: “дым вьётся из кружки, тонкий, прерывистый, не турбулентный.”

Что не сработало:

Накапливание множество микро сразу. Это превращается в шум.
Использование больших глаголов с микро целями (“слегка повернуть голову” часто становится полным кивком). Я использую “angle”, “tilt”, “settle”, “drift”.

Когда клипы становились слишком живыми, я добавлял потолок: “background remains motionless: only [X] moves.” Эта одна строка снижает случайное покачивание по всему кадру.

Отрицательные запросы

Отрицательные запросы — это меньше об изгнании артефактов и больше о распределении бюджета движения. Я получил лучшие результаты, когда использовал отрицания для замораживания определённых цепей.

Полезные отрицания, на которые я опирался:

“No shoulder involvement.” Заставляет модель локализовать движение рук.
“No camera movement of any kind.” Убивает стандартное колебание.
“Hair stays calm.” Мешает модели “кинематографировать” сцены ветром.
“No facial expression change.” Держит микродвижения от дрейфа в улыбки.
“No zoom or dolly.” Избегает подмены субъекта/камеры.

И небольшое предупреждение: длинные списки отрицаний могут дать обратный эффект. Два или три целевых отрицания лучше, чем целая кучка.

Для консистентности при тестировании этих запросов мы запускаем наши эксперименты Kling на WaveSpeed (нашей внутренней среде GPU), чтобы итерировать и сравнивать прогоны без дрейфа настройки.

10 готовых запросов

Это короткие, рабочие стартеры, которые я использовал. Твикируйте персонажей и стили, но сохраняйте части движения нетронутыми.

1. Чистый взмах запястья, торс спокоен

“A seated person at a wooden desk, daylight.
[actor: right wrist] [action: small side-to-side wave] [magnitude: small]
[timing: 2.0–3.0s, once] [constraint: shoulder and elbow steady]
[negative: no camera movement, no left-hand motion].“

2. Едва заметный зум камеры, персонаж заморожен

“Portrait framing, neutral background.
[actor: camera] [action: zoom-in] [magnitude: 5%] [duration: 0–2s, linear]
[constraint: subject perfectly still, only breathing]
[negative: no dolly, no handheld shake].“

3. Саккады глаз без движения головы

“Close-up face, soft light.
[actor: eyes] [action: two quick saccades left→center]
[timing: within first second]
[constraint: head locked, expression neutral]
[negative: no smile, no blink during saccades].“

4. Переворот страницы пальцем, не всей рукой

“Overhead shot of an open notebook.
[actor: right index finger] [action: slide page corner and flip]
[magnitude: single page] [timing: 1.5–2.5s]
[constraint: wrist minimal, forearm anchored to table]
[negative: no camera move].“

5. Микронаклон головы как признание

“Medium shot.
[actor: head] [action: small tilt right then return] [magnitude: 5–7°]
[timing: 1.0–1.4s]
[constraint: shoulders level]
[negative: no smile, no eye shift].“

6. Долли-вправо с параллаксом, персонаж привязан

“Studio scene.
[actor: camera] [action: dolly-right] [magnitude: small, 20 cm]
[duration: 0–2s, smooth]
[constraint: subject remains center-framed, background parallax visible]
[negative: no zoom].“

7. Микротрепет ткани только

“Portrait with light breeze.
[actor: jacket hem] [action: brief flutter]
[timing: 0.8–1.2s]
[constraint: hair and foliage still]
[negative: no global wind].“

8. Печать на клавиатуре с изолированными пальцами

“Desk scene, laptop.
[actor: fingers both hands] [action: type softly]
[timing: intermittent bursts]
[constraint: wrists planted, elbows steady, torso still]
[negative: no camera shake].”

9. Поднятие кружки без поднятия плеча

“Cafe table.
[actor: right hand] [action: lift ceramic cup, sip, replace]
[timing: 1.0–2.5s]
[constraint: shoulder and neck quiet, minimal elbow]
[negative: no camera move, no steam surge].“

10. Фоновое движение, пока персонаж держится

“Street portrait.
[actor: background pedestrians] [action: slow pass left→right]
[constraint: subject motionless, eyes at camera]
[negative: no subject sway, no zoom].”

Если вам нужно масштабировать точность, добавьте одно ещё ограничение, а не другое действие. Это держит клип читаемым, для вас и для модели. Без суждений здесь — мы все были там.

Ладно, ваша очередь — не оставляйте меня висящим: Какой самый смешной сюрприз лицензии “open weights” вы встретили? Поделитесь своей историей в комментариях!