ControlNet で高倍率高解像度補助 - Zuntan03/EasySdxlWebUi GitHub Wiki

高解像度補助 の アップスケーラー で Latent 系を指定すると、より微細な書き込みができますが、高解像度では破綻しがちです。
ControlNet の anytest_v3 や 852AClone を利用することで、高倍率の 高解像度補助(Hires.fix) を Latent 系で利用します。

以下のリンク先で、拡大しながら画像を比較できます。
マウスホイールで拡大しながら確認してください。

詳しい人向けの短いまとめ

気に入った生成画像に対して、Hires.fix で 3～4倍の高倍率を指定しつつ CN-anytest_v3-50000_(pn|am)_dim256 や controlnet852AClone_v10 を High res only で使用して、高倍率による崩れを防ぎます。

  • 生成パラメータは ControlNet の入力画像の生成パラメータをそのまま使います。
  • 高解像度補助 のアップスケーラーは Latent (nearest-exact), 4x-UltraSharp, 4x-AnimeSharp などお好みで。
    • Latent 系では ノイズ除去強度 を 0.5～0.6 にします。Sharp 系なら 0.4 ぐらいまで下げられます。

  • ControlNet の入力画像は、気に入った生成済みの画像を指定します。
    • 必要であれば LamaCleaner などで画像を修正します。
    • 1.5倍の高解像度補助で生成した画像も指定できます。
  • CN-anytest_v3-50000_(pn|am)_dim256 でより大雑把に構図を残したい場合は、より低い dim を選びます。
    • Download/ControlNet/2vXpSwA7-CN-any.bat でダウンロードできます。
  • controlnet852AClone_v10 は拘束力が強いため、Ending Control Step を 0.8 などにします。
    • Download/ControlNet/controlnet852A.bat でダウンロードできます。
  • Hires-Fix Option を High res only にします。
  • ControlNet とモデルに相性がある可能性があります。
  • 例は forge で試しています。a1111 の 高解像度補助 では VRAM 不足に陥る可能性があります。

気に入る画像を生成する

txt2img の 高解像度補助 で大きな画像を生成する手法ですので、手元で気に入った画像を生成できる必要があります。
LoRA や拡張機能を使っても問題ありませんので、気に入った画像を生成できるようにします。

例では複数キャラを並べる拡張機能の Forge Couple と 高速化の Hyper-SD と アウラの LoRA を使用しました。
モデルは Download/Model/ebara_pony.bat でダウンロードできる ebara_pony_2.1 です。

気に入った画像を生成できたら生成パラメータ取得用に元の画像は残しつつ、ControlNet の入力画像用にクリーンアップします。
高解像度補助 1.5倍で崩れない程度に大きくしたり、LamaCleanerGpu.bat などで 不要なものを消したり します。

元画像 高解像度補助 1.5倍クリーンアップ画像

気に入った画像と生成パラメータを用意できたら、より高倍率の 高解像度補助 を掛けます。
PNG内の情報を表示 で元画像を読み込み、生成パラメータを txt2imgに転送 します。

  • 高速化のために、Hyper-SD を CFGスケール: 1 で運用しています。
    • SGMUniform が付いたサンプリング方法が Hyper-SD 用です。
    • CFGスケール が低い分、サンプリングステップ数を多めにしています。
    • Negative Prompt は使用しません。
  • 高解像度補助 の アップスケーラー は ControlNet 併用時は絵が崩れやすい Latent 系を使いやすくなります。
    • 書き込みを増やす Latent (nearest-exact)、実写向け 4x-UltraSharp、イラスト向け 4x-AnimeSharp をお好みで指定します。
      • ノイズ除去強度 は Latent 系なら 0.5～0.6 に、Sharp 系なら 0.4～0.6 に設定します。
    • アップスケール倍率を 3倍にします。
  • サイズは 1280x720 で、1.5倍で FullHD 1920x1080、3倍で 4K 3840x2160 です。
  • Forge Couple は一行目が画面全体、2行目以降で画面を 水平方向 で分割してプロンプトを割り当てています。

  • ControlNet ではクリーンアップした画像を入力に設定し、有効化 します。
  • モデル に CN-anytest_v3-50000_(pn|am)_dim256 を指定します。
    • 画像生成のモデルが Pony 系なら pn、Animagine 系なら am です。
    • anytest は Download/ControlNet/2vXpSwA7-CN-any.bat でダウンロードできます。
  • モデル に controlnet852AClone_v10 を指定することもできます。
    • Download/ControlNet/controlnet852A.bat でダウンロードできます。
    • 852AClone は拘束力が強いため、Ending Control Step を 0.8 などにします。
      • 色漏れを馴染ませる効果もあります。
  • Hires-Fix Option を High res only にします。

生成画像の比較（マウスホイールで拡大しながら確認してください）

anytest_v3

Latent (nearest-exact) 4x-AnimeSharp

852AClone

Latent (nearest-exact) 4x-AnimeSharp

8K 画像の生成

Full HD (1920x1080) を 高解像度補助 で 4倍にすると 8K 画像を生成できます。
Geforce 3060 12GB で、VRAM を節約してギリギリで動きます。
描画がより崩れやすく、生成時間も長くなるため、オススメはしません。

生成画像の比較（マウスホイールで拡大しながら確認してください）