[AI 이미지] [SD 03] Stable Diffusion 설치부터 응용 시리즈 - Text2Image

LINK : https://www.youtube.com/playlist?list=PLdWJCXJ7ciCD-G2ISTeW6VKGOz9lJSQLQ

■ Text 2 Image

텍스트 프롬프트를 이용하여 이미지 생성

스테이블 디퓨전의 가장 기본적인 이미지 생성 방식

■ 프롬프트

프롬프트 입력 순서에 따라 생성 이미지도 영향 받음

중요하게 생각하는 프롬프트를 앞에 입력하면 본인이 원하는 이미지와 유사하게 제작 가능

프롬프트 분류

1. 퀄리티와 해상도 프롬프트

2. 캐릭터와 인물 프롬프트

3. 배경 관련 프롬프트

4. 로라 (Lora)

이렇게 순서를 정하고 프롬프트를 입력하면 수정할 키워드를 빠르게 찾을 수 있음

■ 프롬프트 사전 

https://docs.google.com/spreadsheets/d/1tumGyjdo7mOmpKR_D_23swyw6Y5z6_E3

퀄리티와 테마 sheet에서 해상도와 그림 스타일 관련 프롬프트 복사

복사한 내용을 프롬프트 입력란에 하나씩 붙여넣기

캐릭터/인물/의상 sheet에서 각각 필요한 프롬프트를 복사하여 사용

배경 : beach, sunset (예시)

로라(Lora)는 나중에 다룰 예정

네거티브 프롬프트는 임베딩을 이용하여 추가

■ Sampling Method

Sampling

Reverse Diffusion 과정에서 노이즈를 제거하는 과정

자주 사용하는 샘플링 방법

Euler a : 가장 일반적이고 고전적인 샘플러

DPM++ 2M Karras : 속도도 빠르고 성능도 좋음

DPM++ SDE Karras : 디테일이 좋지만 생성 속도가 조금 느림

본인의 취향에 맞는 것을 선택

Sampling steps 

생성된 이미지를 반복적으로 개선한 횟수

값이 높을수록 이미지 생성 시간 ↑

값이 너무 낮으면 이미지 품질 ↓

애니 스타일 : 20 ~ 30

실사 스타일 : 30 ~ 50

디폴트값 = 30

생성할 이미지의 가로/세로

Width = 가로(540)

Height = 세로(960)

Batch count = 이미지를 생성하는 횟수 (높으면 시간이 오래 걸림)

Batch size = 한 번에 생성하는 이미지의 수량 (VRAM 점유량 늘어남)

Batch count * Batch size = 한 번에 생성되는 이미지 수량

이미지 여러 장 생성 시 Batch count를 올려서 생성 (VRAM 부담 경감)

■ CFG Scale : Classifier Free Guidance Scale 

생성된 이미지가 얼마나 프롬프트의 요구 사항에 충실할지에 대한 설정값

낮을수록 창의력 발휘, 높을수록 프롬프트에만 의존 

디폴트값 = 7

■ Seed 

난수 생성기의 출력을 결정하는 값

-1 : 랜덤 이미지 생성

다른 이미지와 동일한 옵션/시드를 사용하여 이미지를 생성하면 동일한 결과를 얻게 됨

■ Hires. fix

2단계 프로세스를 이용하여 더 작은 해상도로 분해한 다음 업스케일하고 세부사항을 개선하는 기능

Upscaler = 업스케일 방법

실사 이미지 : ESRGAN_4x

애니 스타일 : R-ESRGAN 4x+ Anime 6B

본인의 취향에 맞는 것을 선택

Hires steps 

Hires.fix 과정을 거칠 때 몇 번의 단계를 수행할지에 대한 설정값

기본값인 0으로 설정하면 자동으로 sampling steps와 동일하게 선택

sampling steps와 유사

Denoising strength 

Hires steps 과정에서 원본 이미지를 얼마나 변경할지에 대한 설정값

0 = 변화 X

1 = 전혀 다른 이미지 

적당한 값을 잘 찾으면 원본 이미지를 유지하면서 부분적 퀄리티도 많이 향상

예) 0.3 ~ 0.5

Upscale by 

= 업스케일 할 배수의 설정값

Resize width/height to

= 업스케일 할 해상도를 직접 입력

Hires. fix는 이미지 생성과 동시에 업스케일되면서 퀄리티도 향상되는 매우 좋은 기능