LLM Setup ja JP - on22s/Side-Story GitHub Wiki
LLMは原文への注釈付け、レビュー、ペルソナ関連の処理を担当し、Qwen3-TTSは音声を生成します。TTSをローカルで使っていても、注釈付けがローカルとは限りません。
ホーム · 前:インストール · 次:最初のオーディオブック
Alexandriaと同じPCですでにLM Studioを起動し、指示に従うモデルを読み込んでいる場合:
- Setup → LLM Location → Local を選びます。
- 実際のサーバーがそのアドレスなら Base URL に
http://localhost:1234/v1を入力します。認証不要の場合だけ API Key をlocalにします。 - Model Name を更新し、サーバーが公開する正確なモデルIDを選びます。How requests are sent → To the server address above のまま、failoverは無効にします。
- Runs on this machine's GPU? は同じGPUなら Yes、CPUのみ/別PCなら No にします。
- Test Connection、Save Configuration の順に押します。両方の成功を確認し、サンプルの全文章を点検します。
これはUIに基づく接続例で、モデルやハードウェアの実測済み構成ではありません。翻訳時にLLMの実行や最低メモリーの検証はしていません。モデル未選択ならサーバー側のガイドを参照してください。一覧に表示されるだけで注釈精度は保証されません。Dockerではコンテナーから到達可能なアドレスが必要です。以下の方式をすべて設定する必要はありません。
| 方式 | 必要なもの | 本文の送信先 |
|---|---|---|
| ローカルAPI | LM StudioやOllamaなどのOpenAI互換サーバーと読み込み済みモデル | 設定したサーバー。ローカル処理には実際にローカルのエンドポイントを使います。 |
| 外部API | 互換エンドポイント、モデルID、必要なAPIキー | 本文、プロンプト、関連する配役/スクリプト文脈がその提供元に送られます。料金が発生する場合があります。 |
| 手動 | 各プロンプトに回答するチャット/スクリプトとコピー&ペースト操作 | 手動LLM方式自体は該当プロンプトをHTTP送信しません。貼り付け先は自分で選びます。クラウドチャットには貼り付けた本文が送られます。 |
構造化出力の指示に従うモデルを使い、短い文章で試してください。モデルサイズ、推論設定、文脈上限、ハードウェア要件は異なります。特定モデルの精度や速度は保証しません。
1. Setup → LLM Settings (Script Generation) を開きます。
- LLM Location の Local または Remote (Thunder / network) を選びます。各プロファイルは接続・提供元設定を別々に保持します。ラベルではなく実際のURLとfailover先で送信先を判断してください。
-
Base URL を設定します。例はLM Studioの
http://localhost:1234/v1、Ollamaのhttp://localhost:11434/v1です。サーバー起動とモデル読み込みは別途行い、自分の実際のポートを使います。 -
API Key を入力します。
localは実キーが不要なローカルサーバー限定です。認証する提供元には正しいキーまたは下記の環境変数参照を使います。 - Model Name に正確な提供IDを指定します。更新アイコンでサーバーの一覧を取得し、表示名やファイル名から推測しないでください。
- Provider request options: transport, GPU sharing, reasoning, headers を開き、How requests are sent → To the server address above にします。
- Runs on this machine's GPU? を設定します。同じGPUなら Yes - shares the card with audio generation、ホスト型API・CPUのみ・別PCなら No - hosted API, CPU-only server, or another machine です。Auto はアドレスから推測するため、転送先やCPU専用ローカルサーバーで誤る場合があります。
- Test Connection を押します。モデル一覧取得と短い生成要求を行うため、有料APIではテストにも料金が発生する場合があります。成功はその試験の成功であり、本全体の品質や文脈容量を保証しません。
- Save Configuration を押します。テストでは設定を保存・適用しません。接続先切り替え後も保存が必要です。
- Script に短い文章をアップロードし、Test this book with the LLM または短い生成で確認します。スクリプトと確認に従って結果を点検してください。
通信するのはブラウザーではなくAlexandriaのバックエンドです。別PCのブラウザーやDockerから利用する場合も、そのバックエンドから到達できるURLを指定します。
API Key は env:NAME(例:env:ALEXANDRIA_LLM_KEY)を受け付けます。起動プロセス/コンテナーに環境変数を設定し、Setupには参照だけを保存します。
直接入力したキーはUIで伏せられていても設定ファイルに保存されます。ファイルとバックアップを保護し、キー、認証ヘッダー、未編集ログを公開しないでください。環境変数方式では移行先にも変数を復元する必要があります。config.json のコピーだけでは秘密値は移りません。
対応APIがない場合や各回答を自分で渡す場合に使えます。長い本では多くのプロンプトと再試行が必要になります。
- Setupで Provider request options: transport, GPU sharing, reasoning, headers を開きます。
- How requests are sent → Manual - I supply every reply myself を選びます。保存のため必要ならBase URLに有効な値を残しますが、手動パイプラインはそこへプロンプトを送りません。
- 手動のままにしたい場合は自動failoverを無効にし、Save Configuration を押します。Test Connection と Test this book with the LLM は現行の手動方式に対応していないので使いません。
- Scriptに短い文章を入れ、通常の Generate Annotated Script を押します。回答が必要になると Your turn が表示されます。
- Copy prompt で書式指示も含めた完全なプロンプトをコピーし、選んだモデルに渡します。
- Model reply に最終回答だけを貼り付け、Submit reply を押します。思考過程、説明、別の会話は貼り付けません。
- 要求ごとに繰り返します。通常の検証が働き、使えない回答には再要求が出ます。ログの Plan: で予定を確認します。
コピーがブラウザーに拒否される場合は Copy manually のダイアログで選択します。手動方式はLLM要求だけに適用され、外部TTSをローカル化したり重み取得を止めたりしません。クラウドに貼り付けた本文にはそのサービスの扱いが適用されます。
- Request timeout (seconds):1要求の待ち時間。遅いが動いているサーバーには延長が役立つ場合がありますが、誤URLは直せません。
- Connect timeout (seconds):接続確立の待ち時間。
- Minimum interval (seconds):要求間隔。提供元のレート制限に合わせます。
- API retries とbackoff欄:失敗時の再試行と待ち時間の増やし方。
- When retries run out:Fail the chunk または Pause and wait for me。後者は修復後に Resume で同じ要求を再試行するための待機です。Windowsはプロセスの一時停止/再開に非対応なので、チェックポイントでの再開を参照します。
Fail over to the other profile when this one gives up は、再試行枯渇やコンテンツポリシー拒否後に別プロファイルへ切り替えます。先に接続と設定を確認してください。ローカルから外部への切り替えは本文送信と課金を伴う場合があります。開始時の確認を読み、受け入れられない送信先なら無効にします。警告は料金見積もりや支出上限ではありません。
- Reasoning effort は提供元に送る設定です。Server default、none — answer directly、low、medium、high、xhigh などがあり、対応はモデル次第です。強い設定が常に適切とは限りません。
- Custom headers (JSON object) と Custom request body (JSON object) は、その提供元が対応する有効なJSONオブジェクトを使います。
- body内の
reasoning_effortは選択欄より優先されます。切り分け時は競合設定を除きます。 -
Banned Tokens で
<think>を禁止しても、すべてのモデルの推論を無効化できるわけではありません。 - 接続と短い注釈が動くまで既定プロンプトを保持します。編集はスクリプトと確認を参照してください。
Optimize LM Studio settings は任意の高度な操作で、モデル再読み込み/再設定を行う場合があります。外部側には設定済み Remote SSH host alias が必要です。APIのURL入力だけでSSH接続はできません。作業中は再読み込みとメモリーへの影響を確認してから操作します。
Pinokioの Start LLM: Gemma 4 (Voice Tools) と Start LLM: Qwen 2.5 14B (Voice Tools) は独立APIサーバーの代替となる任意の起動方法です。
- 基本インストールとVoice Toolsの導入を先に行います。
- 対応GGUFを用意し、
pinokio.jsの正確なファイル名でチェックアウト直下に置きます。重みは自動取得されません。 -
llama-cpp-python[server]を空きループバックポートで起動し、既定app/config.jsonのローカルプロファイルを変更します。 -
ALEXANDRIA_CONFIG_PATHや別データルートを使う場合、変更先と使用中設定が異なる可能性があります。SetupでURLとモデルを確認して保存します。 - GPUオフロードと文脈設定はハードウェアに合わせます。LLMはTTS用メモリーも消費します。
英語版の確認元(元の確認リビジョンを保持): 8c7a33cb310ab9264594a09ca27e48271585094f: Setup and manual UI, save/test UI behavior, connection probe, provider options and key resolution, manual requests and book preflight, bundled LLM launcher.