更新履歴 - Zuntan03/EasyNovelAssistant GitHub Wiki

2024/05/05

  • 読み上げ メニューに 入力欄を読み上げ を追加しました。
    • F5 キーで読み上げも中断します。
  • 入力欄の 行頭 に // で、その行をコメントとして扱うようにしました。
  • Anneli と Anneli-nsfw をインストール時にダウンロードするようにしました。
  • 入力欄の最終行を生成欄や出力欄に付け足すようにしました。
    • 入力欄の末尾に改行を入れれば、付け足しません。

2024/05/04

  • 動画の作成 に対応しました。
    • 読み上げ音声に画像を割り当てて、字幕付きの動画を簡単に作成します。
  • 急な開発で混み合ったり古くなったりしたドキュメントを整理しました。
    • 最初のインストールから音声読み上げまでがスムーズになったはずです。
    • 詰まる記述がありましたら、お知らせください。
  • 読み上げ間隔を設定できるようにしました。
  • Windows 10環境で証明書エラーが発生するらしく、curl の --ssl-no-revoke オプションを -k に変更しました。

2024/05/03

  • LLM 入出力のコンテキストサイズの上限を モデル - コンテキストサイズ上限 メニューで指定するようにしました。
    • デフォルト値は 4K で、VRAM 8GB 環境で LightChatAssistant-2x7B-IQ4_XS の L30 か L33 が動作します。
    • 長い文章を取り扱いたい場合は、より大きなコンテキストサイズを指定します。
      ただし GPU レイヤー数に応じて消費 VRAM が増えます。
  • mmnga/Vecteus-v1-gguf, mmnga/Ninja-v1-128k-gguf, mmnga/Ninja-v1-NSFW-128k-gguf の IQ4_XS 版をダウンロードできるようにしました。
  • コンテキストウィンドウの仕様変更に備えて、KoboldCpp/Run-*-L0.bat を起動時に再生成するようにしました。
    • 当初より「bat ファイルをコピーして、set GPU_LAYERS=0 あたりをお好みに変更してご利用ください。」と案内しておりましたが、失われて困る変更がありましたらコピーしてから更新してください。
  • ファイルの保存時に上書きするファイルがある場合は、log/ にバックアップするようにしました。
    • うっかり上書きしてしまったら log/ を覗いてみてください。

2024/05/02

  • ファイル メニューに ファイル監視 を追加して、お好みのテキストエディタと連携できるようになりました。
    あなたの手に馴染んだテキストエディタで入力を保存すると、EasyNovelAssistant が自動で読み込みます。
    これもローカル LLM の利点ですね。
  • メニュー周りを整理しました。
    • 特集テーマ メニューと 作例や記事 メニューを追加しました。
    • モデル メニューをカテゴリ分けしました。
    • ツール メニューを追加しました。
  • 注意書きを追加しました。
    • AVX2 をサポートしていない CPU では、koboldcpp_cublas.dll の初期化に失敗します。
      • KoboldCpp/koboldcpp.exe で KoboldCpp を直接起動して、動作する起動オプションを探します。
        • 例）Presets: を CLBlast NoAVX2(Old CPU) にして、GPU ID: を NVIDIA 系にする。
      • KoboldCpp が起動している状態で Run-EasyNovelAssistant.bat で EasyNovelAssistant を起動すると、そのまま利用できます。
  • Linux 版の KoboldCpp のバージョンを 1.64 に上げました。
    • ファイル名が koboldcpp-linux-x64 から koboldcpp-linux-x64-cuda1150 に変更されていますので更新してください。
  • 「」の無い文章を読み上げなくなっていた不具合を修正しました。

2024/05/01

Vecteus や Ninja の使い方

  1. 自動で起動している [元祖] LightChatAssistant-TypeB-2x7B-IQ4_XS のコマンドプロンプトを閉じます。
  2. モデル メニューから Vecteus や Ninja の L0 を選びます。
    • L0 の数値を上げれば上げるほど高速に動作しますが、VRAM が必要になります。
    • Vecteus IQ4_XS (コンテキストウィンドウ 4K) は VRAM 6GB でも全 33 レイヤーが載ります。
    • Ninja 128K はコンテキストウィンドウと GPU レイヤーで、VRAM をトレードオフすることになります。

Vecteus と Ninja の個人の感想

  • Vecteus Q4_K のコスパが凄まじい。ぜひ IQ4_XS 版を触ってみたい。
    • Vecteus のコンテキスト広げた版にも期待。
  • Ninja も 128K でない版を 4K コンテキストで動かしていると良好。
    • 128K 版ではコンテキスト 16K あたりから品質に悪影響があるような気がする？（LCA 32K 感覚比）
      • とりあえず 128K 版を 8K 運用。
  • Ninja に Instruction format を適用すると、申し訳される？
  • Ninja の量子化が Q_8_0 までしか無い。IQ4_XS 版を触ってみたい。

2024/04/30


動画 DL

  • Style-Bert-VITS2 による読み上げに対応しました。
    • 中クリックによる手動読み上げと、キャラ名「～」 セリフフォーマットによる生成時自動読み上げに対応しています。
    • Style-Bert-VITS2/ フォルダ内は通常の Style-Bert-VITS2 として利用できます。
      • Style-Bert-VITS2 のチュートリアル: YouTube, ニコニコ
      • Style-Bert-VITS2/Editor.bat で、音程調整ありの音声生成ができます。
      • モデルの追加は Style-Bert-VITS2/model_assets/ にフォルダを作ってモデルのファイルを配置します。
      • Style-Bert-VITS2/App.bat でお手元の音声データからモデルを作成できます。
        • 音声の分割、読みの追加など学習に必要な機能が一通り揃っています。詳細は 公式ページ を参照ください。

読み上げ利用手順

  1. EasyNovelAssistant を起動したら、[読み上げ] - [Style-Bert-VITS2 をインストール"] でインストールの完了を待ちます。
  2. インストールが完了したら [読み上げ] - [読み上げサーバーを立ち上げる] で読み上げサーバーの起動を待ちます。
    • Style-Bert-VITS2 読み上げサーバー に 00-00 00:00:00 | INFO | server_fastapi.py:306 | server listen: http://127.0.0.1:5000 が表示されたら起動完了です。
    • LLM(KoboldCpp) で VRAM ギリギリまで GPU レイヤーを増やしていた場合は、VRAM を 2GB 程度開けるために GPU レイヤーを 5 枚程度(Run-LightChatAssistant-2x7B-IQ4_XS 換算) 減らしてください。
    • VRAM が 6GB 未満の場合は [読み上げ] - [GPU を使用する] を無効にします。
    • KoboldCpp と同様に Style-Bert-VITS2/Server.bat や Style-Bert-VITS2/ServerCpu.bat で、あらかじめ読み上げサーバーを立ち上げておくこともできます。
  3. 読み上げサーバーが起動したら、[読み上げ] メニューで読み上げの有効/無効、音量、スピード、声の選択ができます。
  4. 中クリックで読み上げたり、[読み上げサンプル] メニューを参考に生成時に自動で読み上げたりできます。
    • 重要！ [設定] メニューで名前を設定するのを忘れないでください！

2024/04/28

  • [設定] メニューでサンプル用のキャラクター名とユーザー名を指定できるようにしました。
    • サンプルを毎度書き換えなくとも、お好みの名前を自動的に設定します。
    • 旧バージョンではサンプルに {char_name} や {user_name} が表示されます。
      Update-EasyNovelAssistant.bat で更新してください。

2024/04/27

  • 細かな実装改善
    • 非選択時の中ボタンで、クリックした行を入力欄に送る対応。
    • 出力欄だけでなく、生成欄でも中クリックで入力欄に送る対応。
    • サンプル系メニューにスプリッタ追加。
    • ログを日付ディレクトリに格納。
    • コンソールへの生成ログ表示。
    • モデルサーバーがビジーだった場合に自動で中断送信。

2024/04/26

2024/04/24

2024/04/23

2024/04/22

  • EasyNovelAssistant を公開しました。
    • が、公開直後に HuggingFace が不調になる不運に見舞われました。
      HuggingFace の Status が online であることを確認してからインストールを開始してください。