스타일 변환 후보 모댈 개요 및 비교, 선정 이유 - 100-hours-a-week/5-yeosa-wiki GitHub Wiki

1. 스타일 변환 모델: Stable Diffusion 1.5

항목 Stable Diffusion 1.5
출시 2022.11 (Stability AI)
모델 구조 Latent Diffusion Model (LDM) 기반의 U-Net + Autoencoder + CLIP text encoder
입력 형식 이미지 (img2img) 또는 노이즈 시드 + 텍스트 프롬프트
출력 방식 입력 이미지 스타일을 유지한 채 텍스트 기반 스타일로 변형된 이미지 생성
사용 방식 img2img, ControlNet, LoRA 등을 통해 다양한 스타일 적용
확장성 - 다양한 스타일 LoRA 적용 가능- 수천 개 LoRA/Checkpoint 사용 가능
텍스트 처리 CLIP 기반 텍스트 인코더 사용 (OpenAI ViT-L/14)
모델 크기 약 860M 파라미터 (U-Net + VAE + TextEncoder 포함)
추론 속도 상대적으로 느림 (단, 성능 대비 합리적)
장점 - 스타일 변경 성능 SOTA- Hugging Face 등에서 커뮤니티 생태계 활성화- 다양한 확장 기능 (ControlNet, LoRA) 지원
단점 - 모델 로딩 및 추론 시간이 비교적 김- 프롬프트 및 시드에 따라 품질이 달라짐- 비정형 입력에 약간의 비일관성 발생 가능

2. Stable Diffusion 1.5 요약

a. 참고 자료

b. 모델 구조 및 동작 원리

가. Latent Diffusion Model (LDM) 구조 사용

  • 원본 이미지 → VAE를 통해 저차원 latent space로 압축
  • 압축된 latent 공간에서 U-Net이 iterative denoising 수행
  • 텍스트는 CLIP의 텍스트 인코더로 처리되어 cross-attention으로 이미지에 반영됨

나. Style Transfer 구조

  • img2img 모드로 입력 이미지의 content 유지 + style 변경 가능
  • ControlNet, LoRA 등과 결합하면 구조적 제어도 가능

c. 학습 방식

  • Pretrained Dataset:
    • LAION-5B 중 600M 이미지-텍스트 쌍
  • 텍스트 조건화:
    • 텍스트는 OpenAI CLIP (ViT-L/14) 임베딩을 조건으로 사용
  • 학습 목표:
    • Denoising score matching + Text-conditioned image generation
  • 핵심 아이디어:
    • 고해상도 이미지에서 직접 Diffusion 하지 않고, latent 공간에서 연산하여 효율 향상

d. 실무 적용 및 생태계

항목 설명
실무 적용 다양한 콘텐츠 제작 파이프라인에 사용 (썸네일 생성, 스타일 필터링, 브랜드 스타일 반영 등)
LoRA 지원 수천 개의 커스텀 스타일 적용 가능 (ghibli, cyberpunk, watercolor 등)
ControlNet 통합 인물 포즈, 라인 아트, 색상, 깊이 등 구조 제어 가능
커뮤니티 Hugging Face, Civitai, Automatic1111 등에서 수십만 LoRA 및 Checkpoint 유통
커스터마이징 모델 fine-tuning, LoRA 학습, 프롬프트 엔지니어링 모두 가능

3. 비교 모델 및 한계

a. StyleGAN (특히 StyleGAN2/3)

  • 목적: 고정된 도메인(예: 얼굴)에서의 고해상도 스타일 생성
  • 한계: 자유로운 스타일 전환, 텍스트 조건 생성 안됨 → img2img 스타일 변환과는 목적이 다름

b. Image-to-Image Translation 계열 (CycleGAN, pix2pix 등)

  • 고전적인 스타일 트랜스퍼 방식
  • 한계:
    • 사전 학습이 필요함 (fine-tune 전제로 작동)
    • 하나의 스타일만 학습됨 (LoRA처럼 다양한 스타일 선택 불가)
    • 텍스트 조건 없음

c. DALL·E, Midjourney, Imagen

  • 텍스트 기반 이미지 생성 모델이지만,
  • img2img 기능도 있음 (특히 DALL·E 3)
  • 한계:
    • 폐쇄적, 사유 API (오픈모델 X)
    • 사용자 스타일 반영 힘듦
    • 커스터마이징 불가

4. 결론: 사실상 스타일 변환의 표준

  • Stable Diffusion 1.5는 현재 이미지 스타일 변환에서 “표준”으로 통용
  • 다른 모델들과 비교 자체가 무의미할 정도로 압도적인 생태계 지원과 퀄리티를 제공
    • 성능, 확장성, 사용자 수, 커뮤니티 활동 등 모든 면에서 비교 우위
    • 특히 img2img + ControlNet + LoRA 조합은 사용자 정의 스타일 변환에 있어 독보적