[AI 이미지] [SD 09] Stable Diffusion 설치부터 응용 시리즈 - controlnet 2편

LINK : https://youtube.com/playlist?list=PLdWJCXJ7ciCD-G2ISTeW6VKGOz9lJSQLQ

■ Controlnet (2편) 

1) MLSD 

참조 이미지에서 직선으로 된 라인만 추출

직선으로 된 Preprocessor 이미지를 기반으로 새로운 이미지를 생성

건축물, 인테리어 이미지에 적합

2) Lineart 

3) Softedge 

4) Scribble/Sketch 

2), 3), 4) 모두 라인으로 된 스케치의 Preprocess 이미지를 생성

스케치하는 방식이 각각 다름 

4) 가장 rough한 스케치 → 원본과 가장 큰 차이

5) Segmentation 

이미지에서 각 사물을 인식하고 사물별로 구분하여 다른 색으로 표시

색상에 따라 구분하여 이미지가 생성됨

6) Reference

다른 Controlnet 모델과 완전히 다른 방식으로 작동

다른 Controlnet 모델은 Preprocessor와 생성 Model로 구성

반면 Reference는 단일 모델 (Preprocessor)을 사용

→ reference only : 참조 이미지에만 의존하여 새로운 이미지 생성. 본인이 생각하는 아름다운 모델과 유사한 모델을 새롭게 창조할 때 유용하게 사용 가능. AI 인플루언서를 만들고 싶다면 우선 reference only 기능으로 먼저 아름다운 얼굴을 만드는 작업부터 시작하면 됨.

■ Controlnet으로 해결 가능한 문제

손이 이상하게 나올 때

img2img → inpaint → 손 부분만 mask로 칠함 (최대한 꼼꼼하게) 

→ Sampling method 선택 → Sampling steps (실사 이미지 : 30) → 사이즈는 원본 그대로 (삼각자 모양) 

→ Controlnet 탭 → Enable 

→ Upload independent control image를 체크 (Controlnet에 이미지 삽입 공간 활성화) : 손 보정할 때는 필요 X

→ 1) Control Type 선택 → Depth → Preprocessor 모델 (depth hand refiner : 손 보정을 위해 손의 깊이 값만 추출하여 사용)

→ 2) Control Type 선택 → OpenPose → Preprocessor 모델 (dw_openpose_full : 손의 openpose 정확도를 크게 향상 시킴)