[AI 이미지] [SD 08] Stable Diffusion 설치부터 응용 시리즈 - controlnet 1편

LINK : https://youtube.com/playlist?list=PLdWJCXJ7ciCD-G2ISTeW6VKGOz9lJSQLQ

■ 설치 파일

controlnet model: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

civit ai: https://civitai.com/models

■ Controlnet 

Extensions 탭 

→ Available → Load from 버튼 → controlnet 입력 → sd-webui-controlnet (install)

→ installed 탭에서 설치 확인 → Check for updates (업데이트 확인)

→ Apply and restart  UI (webui 재시작)

ControlNet 탭 (추가됨)

controlnet을 사용하려면 전용 모델이 필요

controlnet model: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

리스트에서 확장자가 pth로 된 파일을 모두 다운로드

다운로드한 파일을 extensions\sd-webui-controlnet\models 폴더로 이동

==================

Controlnet은

1) 참조 이미지를 분석하고

2) 분석한 내용을 기반으로 새로운 이미지를 생성 

Preprocessor에서 분석 단계에서 사용할 모델 선택

Model에서 이미지 생성에 필요한 모델 선택

두 모델은 반드시 종류가 같아야 함

=====================

이미지 생성 

txt2img Prompt에 퀄리티 관련 프롬프트와 디테일 Lora만 추가

Controlnet에 참조할 이미지를 드래그하여 넣어줌 

Enable을 체크하여 Controlnet을 활성화

Low VRAM : 그래픽 카드 VRAM이 8GB 이하일 때 사용

Pixel Perfect : 최적 처리 해상도를 자동으로 결정

■ Control Type 

① Canny : 참조 이미지를 스케치한 후 스케치 기반으로 이미지를 생성

Control Type으로 Canny를 선택하면

Preprocessor와 Model에서 Canny 모델이 자동으로 선택됨

Preprocessor 옆에 폭발 모양 아이콘을 클릭 → 이미지 생성 전에 미리 분석한 이미지를 확인

나머지 옵션들은 디폴트 값으로 사용하는 것을 권장

Generate 버튼 클릭 (이미지 생성)

확인 

참조 이미지에서 스케치한 이미지를 생성 → 스케치한 이미지를 이용하여 새로운 이미지 생성

※ Preprocess 이미지도 저장하려면

Settings 클릭 → Controlnet 클릭 → Allow detectmap auto saving 체크 → Apply settings → Reload UI 

stable-diffusion-webui-1.7.0\outputs\txt2img-images\detected_maps 폴더에 저장됨 

② Depth : 깊이가 있는 이미지에 적합

원본 이미지의 Depth 값을 분석하여

구도는 동일하지만 완전히 다른 분위기의 이미지가 생성됨

③ OpenPose : 참조 이미지에서 인체의 자세만을 분석하여 이미지를 생성

개인적으로 Controlnet에서 가장 좋아하는 기능 

→ 난해한 포즈는 Prompt만을 이용하여 구현하기가 매우 어려움

OpenPose를 사용하다 보면 참조할만한 이미지를 찾을 수 없는 경우가 있음

이런 경우 경우, 포즈를 직접 만들어 사용하면 좋음

이를 위해 확장 프로그램을 추가

Extensions 탭 

→ Available → Load from 버튼 → openpose 입력 → OpenPose Editor (install)

→ installed 탭에서 설치 확인 → Check for updates (업데이트 확인)

→ Apply and restart UI (webui 재시작)

OpenPose Editor 

생성할 이미지의 해상도 

예) 768 × 512

스켈레톤을 사이즈 조정 후 드래그하여 위치를 잡아줌

각 관절을 드래그하여 원하는 포즈를 만들어줌

send to txt2img 클릭

txt2img의 ControlNet에 자동으로 포즈 이미지가 삽입됨

Control Type을 OpenPose로 선택

OpenPose Editor로 만든 포즈를 이미 갖고 있기 때문에 Preprocess과정은 생략 가능

→ Preprocess의 모델을 none으로 설정

Generate 클릭 (이미지 생성)

OpenPose Editor에서 포즈를 생성할 때 가장 중요한 점

→ 인체의 비율에 맞게 관절을 조절해야 함

CIVITAI에 접속 → Filter에서 Pose 선택 → 다운로드

사용자들이 제작한 다양한 포즈를 사용 가능