SDXL 生成画像を SD1.5 画風に寄せる - Zuntan03/EasySdxlWebUi GitHub Wiki

Animagine 系や Pony 系の SDXL で生成した画像を、高解像度補助 で SD1.5 モデルの画風に寄せます。
SDXL と SD1.5 を組み合わせることで、SD1.5 の資産を SDXL 環境でも活用できるようにします。

左上が Animagine によるオリジナル画像です。

SDXL と SD1.5 を組み合わせる際の制約

SDXL で画像生成し、高解像度補助 で SD1.5 を利用することで組み合わせます。

プロンプトと LoRA、ネガティブプロンプト、モデル、サンプリング方法 は、画像生成と 高解像度補助 で個別に指定できます。
VAE は個別に指定できないため、SDXL・SD1.5 共にモデルに VAE を焼き込む（おすすめ）か、SD VAE の Automatic に対応する必要があります。
CFGスケール も共通の設定を使用します。
- SDXL を Lightning LoRA で高速化する場合は、CFGスケール を合わせるために SD1.5 も LCM LoRA で高速化します。
- プロンプトでの CFG スケール指定が 高解像度補助 用プロンプトや forge で動作するかどうかまでは確認していません。
高解像度補助 において、Latent 系のアップスケーラーは利用できません。

SDXL 画像生成からの SD1.5 `高解像度補助`

今回は Animagine + Lightning LoRA で生成した画像を、SD1.5 モデル + LCM LoRA の 高解像度補助 で画風を寄せてみます。
SD1.5 用の LCM LoRA が手元にない場合は、Download/Lora/SDXL-Lightning.bat で SdxlWebUi/Lora/lcm/lcm-lora-sd15.safetensors をダウンロードできます。
軽く試した範囲では、Pony 系でも問題なく動作しています。

Stable Diffusionのcheckpoint では SDXL のモデルを指定します。Animagine・Pony 系のどちらも可です。
プロンプト欄では SD1.5 LCM LoRA のために CFGスケール を 1～2の範囲に抑えるため、<lora:sdxl_lightning_2step_lora:1> と Lightning LoRA の 2step 版を指定しています。
- CFGスケール を 3～3.5 で SD1.5 LCM LoRA を使用するのであれば、8step の Lightning LoRA を利用できます。
- SDXL の画像生成では SD1.5 の LoRA は無視されるため、<lora:lcm-lora-sd15:1> のように SD1.5の LCM LoRA を合わせて指定して、Prompt for hires fix pass. の指定を省略することもできます。
- Prompt for hires fix pass. を別個に指定して、newest のような Animagine や Pony 用のプロンプトを SD1.5 では指定しないようにもできます。
サンプリング方法 は Lightning LoRA を利用する場合は SGMUniform がついているサンプラーを選びます。
アップスケーラー は Latent 系以外で、4x-UltraSharp や 4x-AnimeSharp などからお好みで。
ノイズ除去強度 は SD1.5 の画風に寄せるために 0.5～0.6 と高めに設定しています。
Hires checkpoint では寄せたい画風の SD1.5 のモデルを指定します。
Hires sampling method では LCM LoRA を使う場合は、LCM や LCM Karras を選びます。
Prompt for hires fix pass. や Negative prompt for hires fix pass. では、高解像度補助 用のプロンプトを LoRA も含めて 指定できます（し、空欄にして省略することもできます）。
- SD1.5 の LoRA では、とりあえず <lora:flat2:-1> は普通に使えました。
CFGスケール は画像生成と 高解像度補助 で、共通の値を指定しています。

ADetailer の設定

Lightning LoRA や LCM LoRA を利用する場合は、ADetailer のプロンプトを上書きする際にもLoRA を記載する必要があります。
- <lora:sdxl_lightning_2step_lora:1> <lora:lcm-lora-sd15:1> とすると、高解像度補助 を SDXL モデルにした場合は Lightning LoRA が、SD1.5 モデルにした場合は LCM LoRA が使用されます。
- 余談ですが {@seductive smile|evil smile|torogao|grin|disgust|ahegao} のようにダイナミックプロンプトに @ を付けると、顔を描画する際に前から順番にプロンプトを使用します。

ギャラリー

画像リンク先の png には画像の生成情報が残してあります。

生成情報で 高解像度補助 用の ノイズ除去強度 が ADetailer のバグ？で Denoising strength: 0.4 となっていますが、0.6 が設定値です。
Denoising strength: 0.6 で生成しても、ADetailer denoising strength: 0.4 がなぜか Denoising strength: 0.4 にも生成情報として出力されているような気がします。

Animagine の元絵