[AI 이미지] [SD 10] Stable Diffusion 설치부터 응용 시리즈 - controlnet 3편

LINK : https://youtube.com/playlist?list=PLdWJCXJ7ciCD-G2ISTeW6VKGOz9lJSQLQ

■ 설치 파일

model download: https://huggingface.co/h94/IP-Adapter/tree/main/models

■ Cotrolnet (3편)

1) IP-Adapter = Image + Prompt Adapter 

Image 프롬프트와 text 프롬프트를 합쳐서 이미지 생성

IP-Adapter 모델 다운로드 

https://huggingface.co/h94/IP-Adapter/tree/main/models

ip-adapter-plus_sd15.bin 다운로드

\extensions\sd-webui-controlnet\models 폴더로 이동

참조할 이미지를 Controlnet 이미지 탭에 넣어줌 

Controlnet 탭에서

Enable 

Controlnet Type (IP-Adapter 체크) → 모델 선택 (ip-adapter-plus_sd15)

프롬프트, 네거티브 프롬프트는 간단하게 입력 (Controlnet의 효과를 극대화하기 위해)

새로운 이미지 생성 (Generate)

IP-Adapter는 참조 이미지의 전체적인 분위기, 그림 스타일, 구도까지 모두 참조하여 새로운 이미지 생성

이미지의 그림 스타일은 checkpoint 모델이 결정하지만

IP-Adapter를 사용하면 checkpoint 모델을 훈련시키지 않고도 

원하는 이미지의 그림 스타일을 그대로 적용하여 이미지 생성 가능

IP-Adapter의 플러스 모델을 응용하여 또 다른 이미지 생성

ControlNet Unit 0 [IP-Adapter]

스타일을 참조할 이미지를 삽입

예: 마릴린 먼로 (팝아트)

ControlNet Unit 1

예 : 진주 목걸이를 한 소녀

Enable → Control Type (Depth) → Generate

생성 이미지 

= Depth를 이용하여 분석한 깊이 정보 적용 + IP-Adapter를 이용한 그림 스타일 

Controlnet을 여러 개 중복으로 사용하여 이미지를 생성하면 다양하고 새로운 창조의 영역을 체험 가능

기존에는 Checkpoint 모델이나 Lora 모델을 학습시켜야 가능했던 작업 

고흐의 '별이 빛나는 밤' + 인도 '타지 마할' 

2) Shuffle 

참조 이미지의 색상을 왜곡하고 섞은 후 

섞은 이미지를 새로 생성하는 이미지의 시작점으로 사용

참조 이미지의 색상 구성표/테마를 복사하는데 매우 유용함

ControlNet Unit 0 [Shuffle]에 이미지 삽입 (예 : 팝아트)

→ 이미지 생성 (Generate)

생각지도 못한 색상의 조합으로 독특한 이미지로 생성되는 경우가 많음

랜덤하고 독특한 이미지를 생성하고 싶을 때 사용