[AI 이미지] [SD 02] Stable Diffusion 설치부터 응용 시리즈 - 보조 모델편 Embedding과 VAE

LINK : https://www.youtube.com/playlist?list=PLdWJCXJ7ciCD-G2ISTeW6VKGOz9lJSQLQ

■ 설치 파일 

Civit AI: https://civitai.com/

실사 : https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt

애니 : https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt

■ 보조 모델 

긍정 프롬프트 : 이미지 생성 시 사용하고 싶은 키워드

부정 프롬프트 : 이미지 생성 시 제외하고 싶은 키워드

긍정/부정 프롬프트를 연계하여 적절하게 조율하면 본인이 원하는 프롬프트 생성 가능

■ 프롬프트 예시

① 긍정 프롬프트 

8k, masterpiece, best quality, realistic, ultra detail, photo realistic, increase quality,

slender, cute face, smle, beautiful eyes, detailed eyes, 19 years old korean, 

pretty, smoother lightng, cinematic lighting 

② 부정 프롬프트 

worst quality, normal quality, low quality, text, watermark, logo, ugly, bad anatomy, bad hands, three hands, three legs, bad arms, missing legs, missing arms, poorly drawn face, bad face, fused face, cloned face, worst face, three crus, extra crus, fused crus, worst feet, three feet, fused feet, fused thigh, three thigh, extra thigh, worst thigh, missing fingers, extra fingers, ugly fingers, long fingers, horn, extra eyes, huge eyes

■ Embedding = Textual Inversion

모델에 영향을 주지 않은 채 프롬프트를 추가 학습하는 방법

미리 학습된 모델을 임베딩이 추가로 공부시킨다고 생각하면 OK

한 번에 여러 개 사용 가능

용량도 가벼워서 좋음

Civitai → 필터 → 임베딩 선택 & 베이스 모델 SD 1.5

네거티브 임베딩 추천

EasyNegative

Deep Negative V1.x

negative_hand Negative Embedding

다운로드 받은 후 

stable-diffusion-webui-1.7.0 

→ embeddings 폴더에 붙여넣기

스테이블 디퓨전 webui에서 Textual Inversion 클릭

Refresh → 다운로드한 임베딩 확인

네거티브 프롬프트 입력 공간에 마우스 클릭

임베딩 클릭 (자동 추가)

■ VAE = Variational Auto Encoder (변형 자동 인코더)

그림을 보정해주는 역할

생성된 이미지의 색상, 화질에 영향을 미침 = 이미지 필터 

Stable Diffusion의 Web UI 에서 VAE를 설정할 수 있는 영역 생성

Settings → User Interface → Quicksettings list → vae 입력 → sd_vae를 선택 → Apply Settings → Reload UI (webui 재시작)

VAE 다운로드

실사 : https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt

애니 : https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt

VAE 설치 경로

stable-diffusion-webui-1.7.0 → Models → VAE

스테이블 디퓨전 webui에서 SD VAE 새로고침

VAE 모델 선택 (실사 : vae-ft-mse)

임베드, VAE는 초반에 한 번 설정하면 변경할 일이 거의 없음

이렇게 체크포인트 모델 뿐만 아니라 보조 모델들을 이용하면 이미지 퀄리티를 대폭 향상 가능