Optimization - Apkawa/stable-diffusion-wiki-awesome GitHub Wiki

Существует ряд вещей которые позволяют ускорить генерацию

Начнем с такого промпта. Видеокарта 3060 6Gb

cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality,
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 6, Seed: 1547531171, Size: 512x512, Model hash: 6ce0161689, Model: v1-5-pruned-emaonly, Clip skip: 2, Template: "cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality, ", Version: v1.7.0

Time taken: 9.4 sec.

Генерация 1024х1024 занимает около 34.2 sec и появляются чудища.

xformers

В а1111 добавляем флаг --xformers

512x512 - 8.9 sec.
1024x1024 - 23.1 sec.

LCM

Ускорение через особый семплер + лора. Позволяет сильно уменьшить количество шагов.

https://stable-diffusion-art.com/lcm-lora/

Необходимые настройки

Скачать лору https://huggingface.co/latent-consistency/lcm-lora-sdv1-5/blob/main/pytorch_lora_weights.safetensors
Sampling method: LCM
Steps: 5
CFG Scale: 1
В промпт добавить лору <lora:lcm_lora_sd15:1>

Картинка немного поменялась но результат достаточно качественный

cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality, <lora:lcm_lora_sd15:1.0>
Steps: 5, Sampler: LCM, CFG scale: 1, Seed: 1547531171, Size: 512x512, Model hash: 6ce0161689, Model: v1-5-pruned-emaonly, VAE hash: 600345c503, VAE: vae-ft-mse-840000-ema-pruned.vae.safetensors, Clip skip: 2, Template: "cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality, <lora:lcm_lora_sd15:1.0>", Lora hashes: "lcm_lora_sd15: aaebf6360f7d", Version: v1.7.0

512х512 - 2.5 sec.
512 -> 1024 Hires fix - 10.0 sec
1024x1024 - 6.9 sec (с мутантами)

LCM SDXL

Наибольший буст получают SDXL модели. Не работает с SDXL Turbo

Скачать лору https://huggingface.co/latent-consistency/lcm-lora-sdxl/blob/main/pytorch_lora_weights.safetensors
Sampling method: LCM
Steps: 5
CFG Scale: 1.5
В промпт добавить лору <lora:LCM_LoRA_Weights:1.0>

cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality, <lora:LCM_LoRA_Weights:1.0>
Steps: 7, Sampler: LCM, CFG scale: 1.5, Seed: 1547531171, Size: 1024x1024, Model hash: 0724518c6b, Model: juggernautXL_v7Rundiffusion, Clip skip: 2, Template: "cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality, <lora:LCM_LoRA_Weights:1.0>", DSHF_s1: 0.15, DSHF_d1: 3, DSHF_s2: 0.3, DSHF_d2: 4, DSHF_scaler: bicubic, DSHF_down: 0.5, DSHF_up: 2, DSHF_smooth: True, DSHF_early: False, DSHF_one: True, Lora hashes: "LCM_LoRA_Weights: 3d18b05e4f56", Version: v1.7.0

Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7 1024x1024 - 48.9 sec
Steps: 7, Sampler: LCM, CFG scale: 1.5 1024x1024 - 11.8 sec

Kohya Hires.fix

Не работает с SDXL Turbo

https://www.youtube.com/watch?v=SbgMwHDXthU

Решение проблемы с разрешением которые больше чем разрешение модели (фиксит мутантов).

Изображение конечно другое, по сути нужно перебирать в другом разрешении

cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality, <lora:lcm_lora_sd15:1.0>
Steps: 5, Sampler: LCM, CFG scale: 1, Seed: 1547531171, Size: 1024x1024, Model hash: 6ce0161689, Model: v1-5-pruned-emaonly, VAE hash: 600345c503, VAE: vae-ft-mse-840000-ema-pruned.vae.safetensors, Clip skip: 2, Template: "cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality, <lora:lcm_lora_sd15:1.0>", DSHF_s1: 0.15, DSHF_d1: 3, DSHF_s2: 0.3, DSHF_d2: 4, DSHF_scaler: bicubic, DSHF_down: 0.5, DSHF_up: 2, DSHF_smooth: True, DSHF_early: False, DSHF_one: True, Lora hashes: "lcm_lora_sd15: aaebf6360f7d", Version: v1.7.0

1024x1024 - 6.1 sec.

Получается что можем быстро создавать базовые изображения сразу в большем масштабе

Для SDXL протестировать не удается, памяти не хватает, на более мощных видеокартах можно делать базовые 2048x2048.

SDXL Turbo

Особняком стоит новая модель от stabilityai которая вышла 2023-11-28

https://stable-diffusion-art.com/sdxl-turbo/

На данный момент с ней не работают LCM и Kohya Hires.fix оптимизации, но и без них довольно быстро работает

cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality
Steps: 1, Sampler: DPM++ 2M Karras, CFG scale: 1, Seed: 1547531171, Size: 512x512, Model hash: e869ac7d69, Model: sd_xl_turbo_1.0_fp16, Clip skip: 2, Template: "cute pig walking on grass, sunlight, happy, tilt shift, masterpiece, 4k, 8k, photorealistic, detailed, high quality ", Version: v1.7.0

512x512 - 2.4 sec
1024x1024 (c мутантами) - 3.4 sec
512 -> 1024 - 5.5 sec

Сама модель весьма ограниченная в использовании, но показывает то что в целом уже возможна генерация в реальном времени