■ 설치 파일
model download: https://huggingface.co/h94/IP-Adapter/tree/main/models
■ Cotrolnet (3편)
1) IP-Adapter = Image + Prompt Adapter
Image 프롬프트와 text 프롬프트를 합쳐서 이미지 생성
IP-Adapter 모델 다운로드
https://huggingface.co/h94/IP-Adapter/tree/main/models
ip-adapter-plus_sd15.bin 다운로드
\extensions\sd-webui-controlnet\models 폴더로 이동
참조할 이미지를 Controlnet 이미지 탭에 넣어줌
Controlnet 탭에서
Enable
Controlnet Type (IP-Adapter 체크) → 모델 선택 (ip-adapter-plus_sd15)
프롬프트, 네거티브 프롬프트는 간단하게 입력 (Controlnet의 효과를 극대화하기 위해)
새로운 이미지 생성 (Generate)
IP-Adapter는 참조 이미지의 전체적인 분위기, 그림 스타일, 구도까지 모두 참조하여 새로운 이미지 생성
이미지의 그림 스타일은 checkpoint 모델이 결정하지만
IP-Adapter를 사용하면 checkpoint 모델을 훈련시키지 않고도
원하는 이미지의 그림 스타일을 그대로 적용하여 이미지 생성 가능
IP-Adapter의 플러스 모델을 응용하여 또 다른 이미지 생성
ControlNet Unit 0 [IP-Adapter]
스타일을 참조할 이미지를 삽입
예: 마릴린 먼로 (팝아트)
ControlNet Unit 1
예 : 진주 목걸이를 한 소녀
Enable → Control Type (Depth) → Generate
생성 이미지
= Depth를 이용하여 분석한 깊이 정보 적용 + IP-Adapter를 이용한 그림 스타일
Controlnet을 여러 개 중복으로 사용하여 이미지를 생성하면 다양하고 새로운 창조의 영역을 체험 가능
기존에는 Checkpoint 모델이나 Lora 모델을 학습시켜야 가능했던 작업
고흐의 '별이 빛나는 밤' + 인도 '타지 마할'
2) Shuffle
참조 이미지의 색상을 왜곡하고 섞은 후
섞은 이미지를 새로 생성하는 이미지의 시작점으로 사용
참조 이미지의 색상 구성표/테마를 복사하는데 매우 유용함
ControlNet Unit 0 [Shuffle]에 이미지 삽입 (예 : 팝아트)
→ 이미지 생성 (Generate)
생각지도 못한 색상의 조합으로 독특한 이미지로 생성되는 경우가 많음
랜덤하고 독특한 이미지를 생성하고 싶을 때 사용