차지맨 켄!
접속 : 3664   Lv. 69

Category

Profile

Counter

  • 오늘 : 837 명
  • 전체 : 1507887 명
  • Mypi Ver. 0.3.1 β
[AI 이미지] [SD 08] Stable Diffusion 설치부터 응용 시리즈 - controlnet 1편 (0) 2024/07/30 PM 08:09




■ 설치 파일

 

controlnet model: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

civit ai: https://civitai.com/models



■ Controlnet 


Extensions 탭 

→ Available → Load from 버튼 → controlnet 입력 → sd-webui-controlnet (install)

→ installed 탭에서 설치 확인 → Check for updates (업데이트 확인)

→ Apply and restart  UI (webui 재시작)


ControlNet 탭 (추가됨)


controlnet을 사용하려면 전용 모델이 필요

controlnet model: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

리스트에서 확장자가 pth로 된 파일을 모두 다운로드


다운로드한 파일을 extensions\sd-webui-controlnet\models 폴더로 이동


==================


Controlnet은

1) 참조 이미지를 분석하고

2) 분석한 내용을 기반으로 새로운 이미지를 생성 


Preprocessor에서 분석 단계에서 사용할 모델 선택

Model에서 이미지 생성에 필요한 모델 선택

두 모델은 반드시 종류가 같아야 함


=====================


이미지 생성 


txt2img Prompt에 퀄리티 관련 프롬프트와 디테일 Lora만 추가


Controlnet에 참조할 이미지를 드래그하여 넣어줌 


Enable을 체크하여 Controlnet을 활성화

Low VRAM : 그래픽 카드 VRAM이 8GB 이하일 때 사용

Pixel Perfect : 최적 처리 해상도를 자동으로 결정


■ Control Type 


① Canny : 참조 이미지를 스케치한 후 스케치 기반으로 이미지를 생성


Control Type으로 Canny를 선택하면

Preprocessor와 Model에서 Canny 모델이 자동으로 선택됨

Preprocessor 옆에 폭발 모양 아이콘을 클릭 → 이미지 생성 전에 미리 분석한 이미지를 확인

나머지 옵션들은 디폴트 값으로 사용하는 것을 권장


Generate 버튼 클릭 (이미지 생성)

확인 

참조 이미지에서 스케치한 이미지를 생성 → 스케치한 이미지를 이용하여 새로운 이미지 생성


※ Preprocess 이미지도 저장하려면

Settings 클릭 → Controlnet 클릭 → Allow detectmap auto saving 체크 → Apply settings → Reload UI 

stable-diffusion-webui-1.7.0\outputs\txt2img-images\detected_maps 폴더에 저장됨 


② Depth : 깊이가 있는 이미지에 적합

원본 이미지의 Depth 값을 분석하여

구도는 동일하지만 완전히 다른 분위기의 이미지가 생성됨


③ OpenPose : 참조 이미지에서 인체의 자세만을 분석하여 이미지를 생성

개인적으로 Controlnet에서 가장 좋아하는 기능 

→ 난해한 포즈는 Prompt만을 이용하여 구현하기가 매우 어려움


OpenPose를 사용하다 보면 참조할만한 이미지를 찾을 수 없는 경우가 있음

이런 경우 경우, 포즈를 직접 만들어 사용하면 좋음

이를 위해 확장 프로그램을 추가


Extensions 탭 

→ Available → Load from 버튼 → openpose 입력 → OpenPose Editor (install)

→ installed 탭에서 설치 확인 → Check for updates (업데이트 확인)

→ Apply and restart UI (webui 재시작)


OpenPose Editor 


생성할 이미지의 해상도 

예) 768 × 512


스켈레톤을 사이즈 조정 후 드래그하여 위치를 잡아줌

각 관절을 드래그하여 원하는 포즈를 만들어줌

send to txt2img 클릭


txt2img의 ControlNet에 자동으로 포즈 이미지가 삽입됨

Control Type을 OpenPose로 선택

OpenPose Editor로 만든 포즈를 이미 갖고 있기 때문에 Preprocess과정은 생략 가능

→ Preprocess의 모델을 none으로 설정


Generate 클릭 (이미지 생성)


OpenPose Editor에서 포즈를 생성할 때 가장 중요한 점

→ 인체의 비율에 맞게 관절을 조절해야 함


CIVITAI에 접속 → Filter에서 Pose 선택 → 다운로드

사용자들이 제작한 다양한 포즈를 사용 가능

 

신고

 
X