Kling 2.6 모션 제어 프롬프트 패턴

며칠간 Kling 2.6을 테스트하면서 계속 같은 문제에 걸렸습니다. 손을 흔들도록 요청하면 어깨 전체가 움직이고, 카메라를 앞으로 이동시키도록 요청하면 피사체가 줄에 잡혀 있다는 듯이 앞으로 튕겨 나갔습니다. 극적인 실패는 아니지만, 신뢰를 천천히 갉아먹는 그런 저급의 “잘못된 부분이 움직인다”는 문제였습니다.

그래서 오후를 따로 내어 커피를 마시고, 모델이 실제로 어떤 것을 움직일지 결정할 때 무엇을 듣는지 이해해 보기로 했습니다. 이것은 리뷰가 아닙니다. 첫날에 가지고 싶었던 노트입니다. 1단락 프롬프트로 바꾸지 않으면서 Kling 2.6을 신뢰할 수 있는 모션 제어로 유도하는 방법입니다.

”잘못된 부분이 움직인다”가 발생하는 이유

Kling 2.6은 그럴듯한 모션을 잘합니다. 정밀한 모션은 덜합니다. “오른쪽 손을 올려달라”고 요청했을 때 모델은 단어만 파싱하지 않는다는 것을 알았습니다. 신체가 보통 어떻게 움직이는지, 카메라가 보통 무엇을 하는지에 대한 학습된 사전에도 의존합니다. 믿으세요, 그것이 정말 재미있어지는 때입니다.

계속 보이던 패턴들은 다음과 같습니다.

• 모호한 지시 대상: 두 개의 그럴듯한 행위자(피사체와 카메라)가 있으면 Kling은 장면을 안정적으로 유지하기 때문에 카메라에 모션을 할당하기도 합니다. “앞으로 이동”이 피사체가 앞으로 걷는 것으로 바뀔 수 있습니다.
• 폐색 + 대칭: 오른손이 부분적으로 숨겨져 있거나 자세가 왼손과 비슷하면, 거울 이미지를 만들거나 측면을 바꿉니다. 측면 조명과 프레이밍이 단어보다 더 큰 영향을 미칩니다.
• 시간적 흐림: 비트나 지속 시간 없이, 움직임이 전체 클립에 걸쳐 흐릿해집니다. 그럴 때 지속적인 미세 떨림이나 피사체가 가만히 있지 못하는 상황이 발생합니다.

이것은 버그가 아닙니다. 모델이 현실성을 고려하고 있는 것입니다. 저에게는, 모션 감독이 작은 크루에게 말하는 방식으로 Kling과 대화하는 것이 해결 방법이었습니다. 누가 움직이고, 어느 부분이, 얼마나, 얼마나 빨리, 그리고 무엇이 고정된 상태로 유지되는지.

모션 토큰 체크리스트

Kling은 특별한 구문을 요구하지 않지만, 자신에게 작은 “모션 토큰” 템플릿을 주는 것이 저를 성실하게 유지했습니다. 저는 프롬프트 내에 인라인으로, 일반 언어로 작성했으며, 마치 라벨처럼 작성했습니다. 여기 중요한 것은 그것이 엄청난 차이를 만들었다는 것입니다.

제 토큰 개요는 다음과 같습니다.

• 행위자: 움직이는 대상 (피사체, 왼손, 카메라, 배경 조명). 토큰당 하나의 행위자.
• 동작: 동사, 정밀도가 중요할 때 작게 유지 (기울임, 흘낏봄, 올림, 약간 회전).
• 측면/부분: 정확한 사지 또는 물체 (오른쪽 손목, 왼쪽 눈썹, 검지손가락, 카메라 야우).
• 크기: 작음, 중간, 큼, 또는 필요할 때 각도/개수 (15°, 2 스텝, 3 프레임).
• 지속시간 + 타이밍: 언제 발생하고 얼마나 오래 지속되는지 (비트 1-2초, 1초 유지, 반복).
• 제약: 어떻게 고정된 상태로 유지되는지 (몸통 고정, 카메라 고정, 얼굴 중립).
• 부정: 움직이지 않아야 할 것 (어깨 이동 없음, 줌 없음, 머리 침착).

저는 보통 이것들을 대괄호로 감싸서 저에게는 스캔하기 쉽도록 유지하고, 다시 말하지만, Kling이 아닌 저를 위합니다.

[actor: right hand] [action: wave] [magnitude: small] [duration: 1s] [constraint: shoulder locked] [negative: no camera movement]

패턴 1: 사지 제어

사지 문제는 고전적인 것입니다. 상반신 흔들림 없이 미묘한 손 흔들림을 원했습니다. 제 첫 시도는 “부드러운 흔들림”을 요청했기 때문에 실패했습니다. Kling은 “흔들림”을 듣고 전체 체인을 애니메이션 처리했습니다.

더 잘 작동한 것:

• 가장 작은 움직이는 관절을 먼저 이름 지으세요. “오른쪽 손목 튕김, 손가락이 주도, 어깨는 중립.”
• 대대(對代) 제약을 추가하세요. “몸통은 의자에 고정. 엉덩이 흔들림 없음.”
• 비트를 부여하세요. “흔들림은 0:02-0:03 사이에 발생, 그 후 휴식.”
• 대칭을 확인하세요. “왼손은 테이블에 있고, 동작 없음.”

깔끔한 모션을 생성한 실제 프롬프트 조각:

“피사체가 나무 책상에 앉아 있습니다. 차분한 조명. 오른쪽 손목이 작은 좌우 흔들림을 만들고, 손가락이 대부분의 움직임을 합니다. 어깨와 팔꿈치는 정지 상태를 유지합니다. 이 움직임은 2-3초 사이에 한 번 발생한 후 손이 책상에 휴식 위치로 돌아갑니다. 왼손은 움직이지 않습니다. 카메라는 이동하지 않습니다.”

정밀도가 중요할 때는 시각적 앵커를 설정합니다. “오른쪽 손목은 커피 머그 옆에 있습니다. 손가락만 움직입니다.” 앵커는 모델의 관절이 어디에 있는지에 대한 불확실성을 줄입니다.

패턴 2: 카메라

제 “잘못된 부분이 움직였다”는 클립의 절반은 실제로 카메라-피사체 스왑이었습니다. “부드러운 앞으로 이동”을 요청했는데 모델이 피사체를 앞으로 기울이게 했습니다. 합리적이지만 제가 원한 것이 아닙니다.

두 가지를 분리한 방법:

• 카메라 리그를 선언하세요. “카메라는 삼각대 위에, 2초에 걸쳐 미묘한 5% 줌-인.”
• 피사체를 고정하세요. “피사체는 완전히 가만히 있고, 호흡만 합니다.”
• 신체 움직임처럼 들리는 동사를 피하세요. 저는 “더 가까이 이동”이 아니라 “줌-인” 또는 “돌리-인”이라고 말합니다.
• 숫자를 사용하세요. “5% 줌, 선형, 2초, 중앙 프레임.”

작동한 프롬프트 조각:

“고정 샷. 카메라는 0-2초에 걸쳐 느린 선형 5% 줌-인을 수행합니다. 피사체는 기울어지지 않거나 이동하지 않습니다. 시차 변화 없음. 배경은 고정된 상태로 유지됩니다.”

시차가 필요하면 (돌리), 저는 그렇게 부릅니다. “카메라 돌리-인, 책장의 얕은 시차, 피사체는 프레임 중앙에 고정.” 그 한 줄이 모델이 피사체 기울임으로 움직임을 위조하는 것을 멈추게 합니다.

한 가지 더: Kling 2.6은 ‘시네마’를 위해 때때로 핸드헬드 흔들림을 추가합니다. 원하지 않으면 그렇게 말하세요. “핸드헬드 흔들림 없음, 미세 떨림 없음.”

패턴 3: 미세 움직임

미세 움직임은 Kling 2.6이 좋은 방식으로 놀라게 한 곳입니다. 작고 꾸준한 변화는 동사를 부드럽게 유지하고 지속시간을 짧게 유지한다면 자연스러워 보이는 경향이 있습니다 - 안구 주사운동, 호흡, 천 가 흘러간다.

작동한 것:

• 눈: “처음 1초 동안 작은 안구 주사운동 좌측→중앙 2개, 눈꺼풀 부드러움, 머리 고정.”
• 호흡: “미묘한 가슴 상승 3초에 걸쳐 4-6mm, 그 다음 하강, 1회 반복.”
• 천과 머리: “거의 감지할 수 없는 산바람, 머리끝은 움직임, 뿌리는 고정. 자켓 밑단은 0.5초 동안 휘날림.”
• 소품: “머그에서 피어나는 증기, 가늘고, 간헐적, 난류 아님.”

작동하지 않은 것:

• 여러 미세 움직임을 한 번에 쌓는 것. 소음으로 변합니다.
• 미세 대상으로 큰 동사를 사용하는 것 (“머리를 약간 돌림”은 종종 전체 끄덕임이 됩니다). 저는 “각도”, “기울임”, “정착”, “드리프트”를 사용합니다.

클립이 너무 살아있을 때 천장을 추가했습니다. “배경은 움직이지 않음. [X]만 움직입니다.” 그 한 줄이 프레임 전체의 우발적인 흔들림을 줄였습니다.

부정 프롬프트

부정 프롬프트는 아티팩트를 제거하는 것보다 움직임 예산을 할당하는 것에 더 관련이 있습니다. 부정을 사용하여 특정 체인을 고정할 때 더 나은 결과를 얻었습니다.

저가 의존한 유용한 부정:

• “어깨 참여 없음.” 모델이 손 움직임을 지역화하도록 강제합니다.
• “어떤 종류의 카메라 움직임도 없음.” 기본 흔들림을 제거합니다.
• “머리는 침착함.” 모델이 바람으로 장면을 “영화화”하는 것을 멈추게 합니다.
• “얼굴 표정 변화 없음.” 미세 움직임이 미소로 드리프트하는 것을 유지합니다.
• “줌 또는 돌리 없음.” 피사체/카메라 스왑을 피합니다.

그리고 작은 주의: 긴 부정 목록은 역효과를 낼 수 있습니다. 두세 개의 대상 부정이 목록보다 낫습니다.

이 프롬프트들을 테스트하면서 일관성을 유지하기 위해 WaveSpeed (우리 내부 GPU 환경)에서 Kling 실험을 실행하여 설정 드리프트 없이 반복 및 비교 실행을 수행합니다.

10개의 준비된 프롬프트

이들은 제가 사용한 짧고 작동하는 시작입니다. 피사체와 스타일을 조정하되, 움직임 부분은 그대로 유지하세요.

1. 깔끔한 손목 흔들림, 몸통 조용함

“나무 책상에 앉은 사람, 낮 빛.
[actor: right wrist] [action: small side-to-side wave] [magnitude: small]
[timing: 2.0–3.0s, once] [constraint: shoulder and elbow steady]
[negative: no camera movement, no left-hand motion].“

2. 미묘한 카메라 앞으로 이동, 피사체 고정

“초상화 프레이밍, 중립 배경.
[actor: camera] [action: zoom-in] [magnitude: 5%] [duration: 0–2s, linear]
[constraint: subject perfectly still, only breathing]
[negative: no dolly, no handheld shake].“

3. 머리 움직임 없는 눈 주사운동

“가까운 얼굴, 부드러운 빛.
[actor: eyes] [action: two quick saccades left→center]
[timing: within first second]
[constraint: head locked, expression neutral]
[negative: no smile, no blink during saccades].“

4. 손가락으로 페이지를 넘기고 팔 전체 아님

“오픈 노트북의 오버헤드 샷.
[actor: right index finger] [action: slide page corner and flip]
[magnitude: single page] [timing: 1.5–2.5s]
[constraint: wrist minimal, forearm anchored to table]
[negative: no camera move].“

5. 머리 기울임 인정, 미세만

“중간 샷.
[actor: head] [action: small tilt right then return] [magnitude: 5–7°]
[timing: 1.0–1.4s]
[constraint: shoulders level]
[negative: no smile, no eye shift].“

6. 시차가 있는 돌리-우측, 피사체 고정

“스튜디오 장면.
[actor: camera] [action: dolly-right] [magnitude: small, 20 cm]
[duration: 0–2s, smooth]
[constraint: subject remains center-framed, background parallax visible]
[negative: no zoom].“

7. 천 미세 플러터만

“가벼운 산바람이 있는 초상화.
[actor: jacket hem] [action: brief flutter]
[timing: 0.8–1.2s]
[constraint: hair and foliage still]
[negative: no global wind].“

8. 고립된 손가락으로 키보드 타이핑

“책상 장면, 노트북.
[actor: fingers both hands] [action: type softly]
[timing: intermittent bursts]
[constraint: wrists planted, elbows steady, torso still]
[negative: no camera shake].”

9. 어깨 올림 없이 컵 들어올림

“카페 테이블.
[actor: right hand] [action: lift ceramic cup, sip, replace]
[timing: 1.0–2.5s]
[constraint: shoulder and neck quiet, minimal elbow]
[negative: no camera move, no steam surge].“

10. 피사체가 고정된 상태에서 배경 움직임

“거리 초상화.
[actor: background pedestrians] [action: slow pass left→right]
[constraint: subject motionless, eyes at camera]
[negative: no subject sway, no zoom].”

정밀도를 확장해야 하는 경우, 다른 동작보다는 하나의 제약을 더 추가하세요. 클립을 읽을 수 있게 유지하고, 당신과 모델에게도 마찬가지입니다. 여기에 판단은 없습니다 — 우리 모두 그 자리에 있었습니다.

좋아, 당신의 차례입니다 — 저를 매달아 두지 마세요. 가장 터무니없는 “오픈 웨이트” 라이선스 놀라움을 만난 적이 있나요? 댓글에서 당신의 이야기를 남겨주세요!