스테이블 디퓨전 관련 커뮤니티를 돌아다니다 보면 이런 글을 보게 됩니다.

“컨트롤넷은 신이다!”

네… 맞습니다…

스테이블 디퓨전의 꽃! 컨트롤넷!

canny 사용법을 간단하게 설명해 드릴께요

우선

webui 를 열고 원하는 프롬프트를 적어줍니다.

프롬프트는 exif 정보를 확인해주세요.



Prompt: 
best quality, masterpiece, 1girl, korean actor face, (white shirts)
Negative Prompt: 
EasyNegative, ng_deepnegative_v1_75t
Info:
Steps: 30
Sampler: DPM++ SDE Karras
CFG scale: 6
Seed: 4064318067  
Size: 512x768
Model hash: 038ba203d8 
Model: AbyssOrangeMix2_sfw
Denoising strength: 0.5
Clip skip: 2
Hires upscale: 2
Hires upscaler: R-ESRGAN 4x+ Anime6B



이런식으로 그림을 확인하시고…

컨트롤넷으로 가셔서



원하는 포즈의 이미지를 넣어 줍니다.

그리고… 위 사진과 같이 적용해줍니다.

디폴트 파라미터에서 enable 체크해주고

Preprocessor 를 canny 로

Model 도 canny 모델을 선택해줍니다.

그리고 생성을 하게 되면

아래와 같은 그림을 보시게 됩니다.



여기서 중요한것은 생성된 이미지도 중요하지만 생성된 canny 이미지도 중요합니다.



canny 는 외곽선을 추출해서 단순화하여 이미지로 만들고 그 이미지를 가지고 그림을 그리는 방식 입니다.

그럼… 이 canny 이미지를 살짝 고쳐볼까요?

기본 사진이 인터넷에서 구해온거라 중간에 워터마크가 지저분하게 있어서 이미지도 이상하게 나오네요

그럼 워터마크를 지워보겠습니다.

지우는 김에 의자까지 지워버렸네요 크흣…



최종 결과물입니다

Prompt: 
best quality, masterpiece, 1girl, korean actor face, (white shirts)
Negative Prompt: 
EasyNegative, ng_deepnegative_v1_75t
Info:
Steps: 30
Sampler: DPM++ SDE Karras
CFG scale: 6
Seed: 1565045924  
Size: 512x768
Model hash: 038ba203d8 
Model: AbyssOrangeMix2_sfw
Denoising strength: 0.5
Clip skip: 2
ControlNet Enabled: True
ControlNet Module: canny
ControlNet Model: control_sd15_canny [fef5e48e]
ControlNet Weight: 1
ControlNet Guidance Start: 0
ControlNet Guidance End: 1
Hires upscale: 2
Hires upscaler: R-ESRGAN 4x+ Anime6B



추가)

반신으로 자르고 모델을 바꿔서 다시 그려봤습니다.



Prompt: 
best quality, masterpiece, 1girl, korean actor face, (white shirts)
Negative Prompt: 
EasyNegative, ng_deepnegative_v1_75t
Info:
Steps: 30
Sampler: DPM++ SDE Karras
CFG scale: 6
Seed: 1565045924  
Size: 512x768
Model hash: ed3fbaa595 
Model: showmakermix_v10
Denoising strength: 0.5
Clip skip: 2
ControlNet Enabled: True
ControlNet Module: canny
ControlNet Model: control_sd15_canny [fef5e48e]
ControlNet Weight: 1
ControlNet Guidance Start: 0
ControlNet Guidance End: 1
Hires upscale: 2
Hires upscaler: R-ESRGAN 4x+ Anime6B