Shasta と Ollamaモデルライブラリを使用したモデル管理ガイド

この資料は、Shasta と Ollamaモデルライブラリを使用してモデルを管理する方法について説明します。例としてQwen3-Coder-Next モデルのプル、名前の変更(コピー、削除)の手順と、その設定方法を示します。

Ollamaモデルライブラリ https://ollama.com/library

1. コマンドの概要

1.1 モデルのプル

shasta ollama_pull qwen3-coder-next:q4_K_M

このコマンドは、Shasta 環境に Qwen3-Coder-Next モデルをダウンロードします。

1.2 モデル名の変更

1.2.1 モデルのコピー

shasta cp registry.ollama.ai/library/qwen3-coder-next:q4_K_M qwen3-coder-next:q4_K_M

このコマンドは、ローカルにダウンロードしたモデルを別名にコピーします。

1.2.3 モデルの削除

shasta rm registry.ollama.ai/library/qwen3-coder-next:q4_K_M

このコマンドは、リポジトリからモデルを削除します。

1.2.4 モデル名の確認

shasta ls

このコマンドは、Shasta上のモデル一覧を表示します。

2. Krugle KLiP config.yamlのモデルの設定

KLiPのconfig.yamlに、モデルの設定を追加します。 contextLengthは、VRAMの容量に合わせてください。

models:
- name: qwen3-coder-next:q4_K_M
  model: qwen3-coder-next:q4_K_M
  provider: shasta
  apiBase: https://192.168.33.228/shasta
  roles:
  - chat
  - edit
  - apply
  - autocomplete
  defaultCompletionOptions:
    contextLength: 262144
    temperature: 0
    topK: 1
    topP: 0.1
    maxTokens: 16384

3. Krugle AI-Webの設定変更

Krugle環境のMODEL_TYPEをkrugle-code-15b-chatからqwen3-coder-next:q4_K_Mに変更する方法を説明します。

3.1. 環境変数ファイルの編集

3.1.1 ファイルの確認

まず、現在の環境変数ファイルを確認します：

cat /opt/krugle/.env

3.1.2 MODEL_TYPEの変更

環境変数ファイル /opt/krugle/.env の中の以下の行を変更します：

変更前:

MODEL_TYPE=krugle-code-15b-chat or krugle-code-15b-chat

変更後:

MODEL_TYPE=qwen3-coder-next:q4_K_M

3.2. 変更の確認

3.2.1 環境変数ファイルの確認

変更が正しく反映されたか確認します：

grep MODEL_TYPE /opt/krugle/.env

出力は以下のようになります：

MODEL_TYPE=qwen3-coder-next:q4_K_M

3.3. サービスの再起動

3.3.1 Krugleサービスの再起動

変更を反映するために、Krugle関連のサービスを再起動する必要があります：

systemctl restart krugle.service