anystyle 系 ControlNet で構図再現 - Zuntan03/EasySdxlWebUi GitHub Wiki

月須和・那々さんの cnlllite-anystyle_v3 では、ControlNet で構図を残しつつキャラや背景を変更できます。
同様の運用ができる anystyle, anytest, MistoLine の rank256 と fp16 を比較します。

froge と a1111 のどちらでも利用できます。

ControlNet の設定

構図を取り出す画像を ControlNet の入力に指定します。
プリプロセッサ を None にします。
- MistoLine は本来は線画抽出プリプロセッサを使用しますが、今回は使いません。
モデルは CN-anytest_v1_fp16, cnlllite-anystyle_v3-step00004000, mistoLine_rank256, mistoLine_fp16 のいずれかを選択します。
- Download/ControlNet/ にある 2vXpSwA7-CN-any.bat と TheMistoAI-MistoLine.bat でモデルをダウンロードできます。

画像生成の設定は、お好みで問題有りません。
ただし、モデルと ControlNet の相性があります。
ControlNet モデルの XYZ plot をするために a1111 を使用しています。

一番上は ControlNet を無効化した本来の生成結果です（ControlNet が無効なこと以外は、シードも含めて同一設定）。
つまり、一番上の元画像が ControlNet で構図を制御されて、下の画像になっています。

下の画像は横軸が ControlNet のモデル、縦軸が画像生成のモデルです。
プロンプトには outdoor, scenary を含めており、屋外であるほど ControlNet 入力の室内画像から構図を残しつつ書き換えられています。

キャラ変更具合の確認のため、Animagine 系でも Pony 系でも再現するアクアを指定しています。
モデルに応じたキャラ LoRA を使用することで、より確実にキャラを書き換えられます。

PNG内の情報を表示 で画像生成のパラメータを確認できます。
アウラとマルシルは、キャラ LoRA を併用して、より高速な forge で生成しています。