■ 설치 파일
controlnet model: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
civit ai: https://civitai.com/models
■ Controlnet
Extensions 탭
→ Available → Load from 버튼 → controlnet 입력 → sd-webui-controlnet (install)
→ installed 탭에서 설치 확인 → Check for updates (업데이트 확인)
→ Apply and restart UI (webui 재시작)
ControlNet 탭 (추가됨)
controlnet을 사용하려면 전용 모델이 필요
controlnet model: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
리스트에서 확장자가 pth로 된 파일을 모두 다운로드
다운로드한 파일을 extensions\sd-webui-controlnet\models 폴더로 이동
==================
Controlnet은
1) 참조 이미지를 분석하고
2) 분석한 내용을 기반으로 새로운 이미지를 생성
Preprocessor에서 분석 단계에서 사용할 모델 선택
Model에서 이미지 생성에 필요한 모델 선택
두 모델은 반드시 종류가 같아야 함
=====================
이미지 생성
txt2img Prompt에 퀄리티 관련 프롬프트와 디테일 Lora만 추가
Controlnet에 참조할 이미지를 드래그하여 넣어줌
Enable을 체크하여 Controlnet을 활성화
Low VRAM : 그래픽 카드 VRAM이 8GB 이하일 때 사용
Pixel Perfect : 최적 처리 해상도를 자동으로 결정
■ Control Type
① Canny : 참조 이미지를 스케치한 후 스케치 기반으로 이미지를 생성
Control Type으로 Canny를 선택하면
Preprocessor와 Model에서 Canny 모델이 자동으로 선택됨
Preprocessor 옆에 폭발 모양 아이콘을 클릭 → 이미지 생성 전에 미리 분석한 이미지를 확인
나머지 옵션들은 디폴트 값으로 사용하는 것을 권장
Generate 버튼 클릭 (이미지 생성)
확인
참조 이미지에서 스케치한 이미지를 생성 → 스케치한 이미지를 이용하여 새로운 이미지 생성
※ Preprocess 이미지도 저장하려면
Settings 클릭 → Controlnet 클릭 → Allow detectmap auto saving 체크 → Apply settings → Reload UI
stable-diffusion-webui-1.7.0\outputs\txt2img-images\detected_maps 폴더에 저장됨
② Depth : 깊이가 있는 이미지에 적합
원본 이미지의 Depth 값을 분석하여
구도는 동일하지만 완전히 다른 분위기의 이미지가 생성됨
③ OpenPose : 참조 이미지에서 인체의 자세만을 분석하여 이미지를 생성
개인적으로 Controlnet에서 가장 좋아하는 기능
→ 난해한 포즈는 Prompt만을 이용하여 구현하기가 매우 어려움
OpenPose를 사용하다 보면 참조할만한 이미지를 찾을 수 없는 경우가 있음
이런 경우 경우, 포즈를 직접 만들어 사용하면 좋음
이를 위해 확장 프로그램을 추가
Extensions 탭
→ Available → Load from 버튼 → openpose 입력 → OpenPose Editor (install)
→ installed 탭에서 설치 확인 → Check for updates (업데이트 확인)
→ Apply and restart UI (webui 재시작)
OpenPose Editor
생성할 이미지의 해상도
예) 768 × 512
스켈레톤을 사이즈 조정 후 드래그하여 위치를 잡아줌
각 관절을 드래그하여 원하는 포즈를 만들어줌
send to txt2img 클릭
txt2img의 ControlNet에 자동으로 포즈 이미지가 삽입됨
Control Type을 OpenPose로 선택
OpenPose Editor로 만든 포즈를 이미 갖고 있기 때문에 Preprocess과정은 생략 가능
→ Preprocess의 모델을 none으로 설정
Generate 클릭 (이미지 생성)
OpenPose Editor에서 포즈를 생성할 때 가장 중요한 점
→ 인체의 비율에 맞게 관절을 조절해야 함
CIVITAI에 접속 → Filter에서 Pose 선택 → 다운로드
사용자들이 제작한 다양한 포즈를 사용 가능