[그냥 이것저것] 나도 내컴퓨터에서 AI 돌릴래 (VAE설정)

(적용전)

(적용후)

실사와 달리 애니풍 그림은 흐릿하고 뿌옇게 나오는데 심하면 얼굴도 많이 뭉개진다.

나름 열심히 유튜브 강좌 보면서 프로그램 설치하고 사용법 숙지했다고 생각했는데 이게 아니었다...

강좌에서도 VAE 적용하는게 낫다고 들은게 얼핏 기억난다. 그래서 해당파일 다운받고 해당폴더에 집어넣는걸로 적용 된걸로 생각했다.

뭐.. 예전 버전에선 이걸로 적용 됐을지 몰라도 현재 버전에선 적용 안되었다.

VAE 파일을 다운받고 해당 폴더에 넣으면 설정 화면에서 아래에 보면 기본값이 오토매틱으로 되어있다.

이걸 다운받은 파일로 선택해야지만 비로소 VAE가 적용되는 거시었따!!! (물론 설정 후 저장)

위 그림이 예시로 적용전 이미지는 뿌옇게 나오고 얼굴도 많이 뭉개진다. (예시 이미지는 얼굴 안뭉개졌음)

처음 애니스타일로 시도한것이 토리야마 선생의 드래곤볼...

수십번 돌려야지 겨우 1,2개 정상적인 이미지가 나와서 좌절했었다...

이미지 나오면 분명 분위기는 비슷한데 얼굴 뭉개져... 화면 흐릿해.. 뭐가 문젠지 모르고 걍 포기할까 했었는데...

원인이 저거였음.. 이건 꼭 중요체크다...

[woodspoon]

요즘은 gradio 로 만든 UI가 있어서 좋군요

[woodspoon]

제 기억이 맞다면 stable diffusion은 먼저 영상을 latent space으로 인코딩후 처리하는데, 그때 vq-vae을 사용하는걸로 기억합니다. 그걸 의미 하는건가요? vae을 학습을 다르게 해서 업글 한건가?
아니면 후처리로 다시 vae을 사용한 다는건가요?

[woodspoon]

자문자답인데 보니까 얼굴 영상의 데이터 셋으로 추가적인 fine tuning 진행한 튜닝 vae 모델 이군요
손실 함수는 ema을 사용했구여.
조금만 공부 안하면 바로 새로운게 나와서 머리 아프네요...
https://huggingface.co/stabilityai/sd-vae-ft-mse-original

[eve]

자세한 답변 감사합니다. 그렇게 전문적으로 공부하면서 한건 아닌데 파고들면 들수록 어렵네요.. 인간이 AI를 만들고 또 AI를 공부하는 인간이라니.. 뭔가 아이러니하네요.. 아직 시작한지 얼마 안된지라 부족한게 많네요..