Wan Fun InP でお手軽に長尺の動画生成 - Zuntan03/EasyWanVideo GitHub Wiki

以前に『長尺の動画生成 』について説明しましたが、新しい Wan2.1-Fun-14B-InP モデル で開始・終了フレーム画像指定の精度が上がり、より楽に長尺の動画を生成できるようになりました。

前提として『長尺の動画生成 』を確認しておいてください。
Fun InP 精度向上の恩恵を受ける手法を、簡単で限定的な動きのモノから手間に応じて動きの幅が広がるモノまで紹介します。

Wan Fan Inp モデル

• Download\diffusion_models\Kijai\Wan2_1-FunInP-14B_fp8_e4m3fn.bat でダウンロードできます。
• この Wan Fun InP 14B モデルでは、Wan I2V 14B (480p?) 用 の LoRA が利用できるようです。
  • LoRA の相性によって効きやすさが異なるようで、十分な効果がでない LoRA も多いようです。
    • LoRA の強度を高めることで、なんとか効果を得られる LoRA もあるようです。
• 品質向上を謳う Wan2.1-Fun-Reward-LoRAs が利用できます。
  • Download\loras\Fun\FunInP_14B_RewardHps.bat などでダウンロードできます。
  • 絵がリアル調に寄せられるため、イラスト調では重みを 0.5 などに抑えて利用するのが良いかもしれません。

開始フレーム画像と終了フレーム画像に同じ絵を指定して Fun_I2vEnd

• KijaiFun_I2vEnd ワークフローで、開始フレームの画像と終了フレームに同じ画像を指定して動画を生成します。
  • 動きは小さめになりますが、破綻した動きが少なくなるとも言えます。
• 実行（即時） で一晩生成すれば、お好みの順番で繋げられます。

開始フレーム画像と終了フレーム画像に異なる絵を指定して Fun_I2vEnd

• 例えば A, B と 2種類の画像を用意し、A → B と B → A の動画を量産して、交互に繋げます。
• 寝る前に A → B と B → A の実行キューを積み上げ、それぞれの当たりガチャを交互に繋げます。
  • Fun InP は最終フレーム画像の再現精度が高いため、まとめてガチャることができます。
  • AB のガチャ選別が終わってから最終イメージを BC の開始イメージに設定する場合は、通常の Kijai_I2vEnd のほうが品質が高くなります。
    • が Kijai_I2vEnd はループ部分が繋がらないので、ループ部分で短時間の KijaiFun_I2vEnd と組み合わせるのが良いかもしれません。
• A, B, C の 3種類なら A → B, B → C, C → A
  • A, B, C, D の 4種類なら A → B, B → C, C → D、D → A

I2v の当たりガチャ動画の最終フレームから開始フレームで Fun_I2vEnd

• 通常の開始フレームのみを指定する I2v 動画を量産して、当たりガチャを集めます。
  • 動きの幅は大きくなりますが、I2v の最終フレーム画像の内容によって生成動画の品質に偏りが発生します。
• 当たり動画の最終フレーム画像から開始フレーム画像になるように Fun_I2vEnd で動画を生成して組み合わせます。
• 通常の Wan I2V と Wan Fun InP I2V+End では色味が変わってしまうようで、繋ぎ目が目立ちます。
  • ColorMatch ワークフローである程度は軽減できます。