日本語 LLM で Flux - Zuntan03/EasyForge GitHub Wiki

EasyForge に ComfyUI をワンクリックで追加して、日本語 LLM による指示（英訳でなく）で Flux Dev の画像を生成します。
モデルや LoRA などのファイルは Forge 用にダウンロードしたものをそのまま利用できます。

最初の生成

  1. EasyForge をインストール します。
    導入済みの場合は Update.bat で更新します。
  2. インストール先フォルダにある ComfyUI.bat を実行します。
  3. ComfyUI が起動したら ComfyUI-Workflow/Flux/01-日本語LLMでFlux.json をドラッグ＆ドロップします。
  4. 画面右上の Queue で画像を生成します。
    生成時にエラーが出ても、もう一度 Queue すると正常に生成される場合があります。

お試し Tips

  • 主に緑色のノード内のパラメータを設定します。
    • 操作しがちなノード順で 緑 > 青 > 灰色 > 折りたたみノードです。
    • ノードの編集には向いていない作りなので、繋ぎ変えや学習は他のワークフローをご利用ください。
  • 上部にある Hires. fix と アップスケール を あり:2 から なし:1 に変更すると、生成時間が短くなります。
    • まずは短い生成時間で生成して、気に入った画像を ComfyUI にドラッグ＆ドロップして、あり:2 に変更してあとから高品質にすることもできます。
  • LLM プロンプト の上側の欄に日本語で様々な指示をして生成してみてください。
    • LLM 回答のプロンプト和訳が、下の LLM 和訳 に表示されます。
      • 和訳が不要な場合は LLM 和訳 なし: 1 を指定します。
  • 画像生成のモデル でモデルを選択できます。
    • セミリアルな画像生成を試す場合は、画像生成のモデル で MythP0rt-x08-8step-Q4_K_S を選択して、基本プロンプト に MythP0rt を追加します。
    • アニメな画像生成を試す場合は、画像生成のモデル で fca_style-v33-x10-8step-Q4_K_S を選択して、基本プロンプト に fca_style を追加します。
  • PC の処理能力に余裕があれば軽量の Q4_K_S ではなく、高精度な Q8_0 を使用したほうが、手などの破綻が少なくなる気がします。
    • 気に入ったモデルの Q8_0 のモデルは、download/Stable-diffusion/ 以下にある *.bat でダウンロードできます。
  • NSFW を試す場合は download/ComfyUI-Nsfw.bat で NSFW 関連ファイルをダウンロードします。
    • LLM モデル を NSFW に強い Vecteus-v1-Q4_K_M に変更します（NSFW 以外の精度は落ちます）。
    • リアル NSFW を試すなら iNiverseFluxV11-8step-Q4_K_S を選択します。
    • アニメ NSFW を試すなら iNiverseV11x05-FCAnimeV33x05-8step-Q4_K_S を選択して、基本プロンプト に fca_style anime を追加します。
  • 画像からプロンプト生成 で画像から生成したプロンプトで画像を生成できます。
    • プロンプト生成用の画像 に参考にしたい画像をドラッグ＆ドロップしてください。

モデルや LoRAの追加

とりあえず試すだけであれば 読み飛ばして ください。
モデル、LoRA、テキストエンコーダ、VAE、アップスケーラ、Wildcard などを Forge と共用しています。

モデルや LoRA の追加は Forge.bat で Forge を起動して、Civitai Helper タブでダウンロードします。
Civitai Helper からのダウンロードには Civitai のアカウント作成と API キーの登録 が必要です。

Civitai で気になるモデルや LoRA を見つけて、Civitai Helper の Download Model-Civitai URL に URL をコピペして、Get Model Info by Civitai Url します。
Sub-foder で保存先などを指定して、Download Model でダウンロードします。

Civitai の API キーを登録していれば、download/Flux-Recommended.bat でオススメ一式を簡単にダウンロードできます。

GGUF モデル

ComfyUI のワークフローでは GGUF のモデルを使用しますが、Civitai で GGUF が配布されていない場合があります。
GGUF はファイル名に Q8_0, Q6_K, Q4_K_S, Q4_0 などの付いた、拡張子が *.gguf のファイルです。
GGUF が配布されていない場合は flux_tool/ConvertGguf.bat を実行して、fp16 や fp8 のモデルをドラッグ＆ドロップすると GGUF に変換できる可能性があります。

プロンプト

プロンプトの入力欄は英文そのままの 基本プロンプト と、日本語で指示できる LLM プロンプト の 2種類があります。
それぞれ上下にテキストエリアがあり、上の欄にプロンプトを入力します。
画像生成に必ず用いたいプロンプトや LoRA 定義を 基本プロンプト に記載します。

  • 基本プロンプト では LoRA を利用できます。
    • 入力欄下部の Select the LoRA to add to the text やオートコンプリートで LoRA 定義を追加できます。
  • ワイルドカードを download/Flux-Recommended.bat でダウンロード（要 Civitai Helper の Key 登録）していれば、入力欄下部の Select to add Wildcard で利用できます。
  • LLM プロンプト では画像の見た目を書き連ねる（例：黒い髪と目をした…）ことも、より抽象的な指示（例：サイバーパンク富嶽三十六景）でプロンプトを生成することもできます。
  • 基本プロンプト と LLM プロンプト の両方を使うのか、どちらかのみを使うのかを指定できます。
    • 気に入った LLM プロンプト の出力を 基本プロンプト にコピペして、基本プロンプト のみを使用するといった使い方ができます。

基本的なパラメータ

  • 画像生成のモデル で GGUF モデルを選択します。
    • Hyper Flux マージ済みの 8step モデルでない場合は、Hyper-FLUX.1-dev-8steps-lora を使用するか、各ステップ数を編集してください。
  • 画像の幅 と 画像の高さ で画像のサイズを指定します。
    • Hires. fix やアップスケールを使用せずに、高解像度の画像を直接生成しても問題ありません。
  • ステップ数 で画像生成のステップ数を指定します。
    • Hyper Flux を使用しない場合は 20以上にします。
  • 全体のシード では -1 のランダム生成の指定や、固定のランダム値の指定や、前回生成したシードの再利用ができます。
    • 気に入った画像なのに一部が惜しい場合は、前回生成したシードを再利用しつつ、プロンプトやパラメータを微調整します。

その他のパラメータ

  • LLM のモデルは Llama-3.1-8B-EZO-1.1-it-gguf を使用しています。
    幅広いモデルを試したわけではないので、より良いモデルがあったら教えて下さい。

Tips

  • ComfyUI も Forge も得手不得手がありますので、使い分けるのが良さそうです。