차지맨 켄!
접속 : 3664   Lv. 69

Category

Profile

Counter

  • 오늘 : 906 명
  • 전체 : 1507956 명
  • Mypi Ver. 0.3.1 β
[AI 이미지] [SD 10] Stable Diffusion 설치부터 응용 시리즈 - controlnet 3편 (0) 2024/07/31 PM 05:37

 

 


■ 설치 파일


model download: https://huggingface.co/h94/IP-Adapter/tree/main/models



■ Cotrolnet (3편)


1) IP-Adapter = Image + Prompt Adapter 

Image 프롬프트와 text 프롬프트를 합쳐서 이미지 생성


IP-Adapter 모델 다운로드 

https://huggingface.co/h94/IP-Adapter/tree/main/models

ip-adapter-plus_sd15.bin 다운로드

\extensions\sd-webui-controlnet\models 폴더로 이동

 


참조할 이미지를 Controlnet 이미지 탭에 넣어줌 

Controlnet 탭에서

Enable 

Controlnet Type (IP-Adapter 체크) → 모델 선택 (ip-adapter-plus_sd15)

 

프롬프트, 네거티브 프롬프트는 간단하게 입력 (Controlnet의 효과를 극대화하기 위해)

새로운 이미지 생성 (Generate)


IP-Adapter는 참조 이미지의 전체적인 분위기, 그림 스타일, 구도까지 모두 참조하여 새로운 이미지 생성


이미지의 그림 스타일은 checkpoint 모델이 결정하지만

IP-Adapter를 사용하면 checkpoint 모델을 훈련시키지 않고도 

원하는 이미지의 그림 스타일을 그대로 적용하여 이미지 생성 가능



IP-Adapter의 플러스 모델을 응용하여 또 다른 이미지 생성


ControlNet Unit 0 [IP-Adapter]

스타일을 참조할 이미지를 삽입

예: 마릴린 먼로 (팝아트)

 

img/24/07/31/191083568d62255ed.webp


ControlNet Unit 1

예 : 진주 목걸이를 한 소녀

 

img/24/07/31/191083584642255ed.webp


Enable → Control Type (Depth) → Generate

 

img/24/07/31/1910838bb562255ed.png


생성 이미지 

= Depth를 이용하여 분석한 깊이 정보 적용 + IP-Adapter를 이용한 그림 스타일 


Controlnet을 여러 개 중복으로 사용하여 이미지를 생성하면 다양하고 새로운 창조의 영역을 체험 가능

기존에는 Checkpoint 모델이나 Lora 모델을 학습시켜야 가능했던 작업 

 

img/24/07/31/191084b6e8c2255ed.png

고흐의 '별이 빛나는 밤' + 인도 '타지 마할' 



2) Shuffle 


참조 이미지의 색상을 왜곡하고 섞은 후 

섞은 이미지를 새로 생성하는 이미지의 시작점으로 사용


참조 이미지의 색상 구성표/테마를 복사하는데 매우 유용함


ControlNet Unit 0 [Shuffle]에 이미지 삽입 (예 : 팝아트)

→ 이미지 생성 (Generate)


img/24/07/31/191088f27502255ed.png


생각지도 못한 색상의 조합으로 독특한 이미지로 생성되는 경우가 많음

랜덤하고 독특한 이미지를 생성하고 싶을 때 사용

신고

 
X