KrugleAI Shasta Deployment Guide - krugle-jp/Krugle-Library GitHub Wiki

KrugleAI Shasta デプロイメントガイド

バージョン: v0.8.1-beta

KrugleAI Shastaは、高速かつ高パフォーマンスを実現する次世代のLLM推論サービスです。CPUとGPUリソースを自動的にバランスさせ、KrugleAI Code LLMsとのシームレスな体験を提供します。

macOS

前提条件

35Bモデルの最小ハードウェア仕様

  • GPU: Apple Silicon M2 Pro以上
  • RAM: 64 GB
  • HDD/SSD: 40 GB以上の空き容量

その他のモデルの最小ハードウェア仕様

  • GPU: Apple Silicon M1以上
  • RAM: 16 GB
  • HDD/SSD: 10 GB以上の空き容量

プラットフォーム: darwin-arm64

インストール

ステップ1: 設定

Shastaをダウンロードし、パッケージをMacの任意の場所に解凍します（例: ~/Documents/shasta-darwin）。

/shasta-darwin/shasta.confを編集します。

  • hf_から始まるアクセストークンを最新の内容に変更　← お手数ですがKrugleの担当エンジニアにご確認ください
  • YOUR_KE_HOSTをKrugle Enterpriseサーバーのホスト名に変更
  • KAS認証が有効な環境では、YOUR_KE_USERNAMEとYOUR_KE_PASSWORDも変更
hf_xxxxxxxxxxxxxxxxxxxxxxxxx
YOUR_KE_API_URL
YOUR_KE_USERNAME
YOUR_KE_PASSWORD

ステップ2: 初期化

cd ~/Documents/shasta-darwin
./shasta init

モデルを選択するように求められます。関数呼び出しとMCPツールのサポートを備えた最新モデルであるKrugleAI Code 15Bを選択することをお勧めします。

Please choose an LLM to install:

A) ✨🥇 [KrugleAI Code 15B + KrugleAI Text Embedding] - SIZE: 10.15 GB RAM/VRAM: 15+ GB
B) [KrugleAI Code 10B + KrugleAI Text Embedding] - SIZE: 8.85 GB RAM/VRAM: 15+ GB
C) [KrugleAI Code 35B + KrugleAI Text Embedding] - SIZE: 23.15 GB RAM/VRAM: 48+ GB

Enter your choice:

このステップでは、KrugleAIモデルを取得して読み込むのに時間がかかる場合があります。✅ KrugleAI models have been initializedというメッセージが表示されたら、初期化が完了したことを意味します。

ステップ3: Shastaを起動

./start.sh

アンインストール

cd ~/Documents/shasta-darwin
./stop.sh
rm -rf ~/Documents/shasta-darwin
rm -rf ~/.shasta

アップグレード

古いバージョンのShastaをアンインストールし、新しいバージョンをインストールしてください。

その他

ロギング

ログはここにあります: $SHASTA_HOME/shasta.log。

Shastaを停止

cd ~/Documents/shasta-darwin
./stop.sh

Windows

前提条件

35Bモデルの最小ハードウェア要件

  • CPU: 12コア
  • RAM: 64 GB
  • HDD/SSD: 空き容量40 GB以上
  • GPU（オプション）: CUDA v11+をサポートするNVIDIA GPUで、VRAMが48 GB以上。AMD GPUの場合は追加のドライバーのダウンロードとインストールが必要です。

その他のモデルの最小ハードウェア要件

  • CPU: 8コア
  • RAM: 16 GB
  • HDD/SSD: 空き容量10 GB以上
  • GPU（オプション）: CUDA v11+をサポートするNVIDIA GPUで、VRAMが8 GB以上

プラットフォーム: win-amd64 (x86-64)

Windows 11 24H2以降では、WMICがインストールされていることを確認してください。

  1. スタート > すべてのアプリ > 設定に移動するか、Windowsキー + Iを押して設定を開きます。
  2. システム > オプション機能をクリックします。
  3. オプション機能の追加の隣にある機能の表示を選択します。
  4. 下にスクロールし、WMICにチェックを入れます。
  5. 次へ > 追加をクリックして、インストールを完了します。

インストール

ステップ1: 設定

Shastaをダウンロードし、アーカイブの名前をshasta-win.zipに変更して任意のフォルダで解凍します。（例: c:\shasta-win）。

\shasta-win\shasta.confを編集します。

  • hf_から始まるアクセストークンを最新の内容に変更　← お手数ですがKrugleの担当エンジニアにご確認ください
  • YOUR_KE_HOSTをKrugle Enterpriseサーバーのホスト名に変更
  • KAS認証が有効な環境では、YOUR_KE_USERNAMEとYOUR_KE_PASSWORDも変更
hf_xxxxxxxxxxxxxxxxxxxxxxxxx
YOUR_KE_API_URL
YOUR_KE_USERNAME
YOUR_KE_PASSWORD

ステップ2: 初期化

cd c:\shasta-win\
.\shasta.exe init

モデルを選択するように求められます。関数呼び出しとMCPツールのサポートを備えた最新モデルであるKrugleAI Code 15Bを選択することをお勧めします。

Please choose an LLM to install:

A) ✨🥇 [KrugleAI Code 15B + KrugleAI Text Embedding] - SIZE: 10.15 GB RAM/VRAM: 15+ GB
B) [KrugleAI Code 10B + KrugleAI Text Embedding] - SIZE: 8.85 GB RAM/VRAM: 15+ GB
C) [KrugleAI Code 35B + KrugleAI Text Embedding] - SIZE: 23.15 GB RAM/VRAM: 48+ GB

Enter your choice:

このステップでは、KrugleAIモデルを取得して読み込むのに時間がかかる場合があります。

✅ KrugleAI models have been initializedというメッセージが表示されたら、初期化が完了したことを意味します。

ステップ3: Shastaを起動

.\start.bat

アンインストール

cd c:\shasta-win\
.\stop.bat

del c:\shasta-win\
del c:\Users\${USER}\.shasta

アップグレード

古いバージョンのShastaをアンインストールし、新しいバージョンをインストールしてください。

その他

ロギング

ログはここにあります: %SHASTA_HOME%\shasta.log。

Shastaを停止

cd c:\shasta-win\
.\stop.bat

Linux

前提条件

35Bモデルの最小ハードウェア要件

  • CPU: 12コア
  • RAM: 64 GB
  • HDD/SSD: 空き容量40 GB以上
  • GPU（オプション）: CUDA v11+をサポートするNVIDIA GPUで、VRAMが48 GB以上。AMD GPUの場合は追加のドライバーのダウンロードとインストールが必要です。

その他のモデルの最小ハードウェア要件

  • CPU: 8コア
  • RAM: 16 GB
  • HDD/SSD: 空き容量10 GB以上
  • GPU（オプション）: CUDA v11+をサポートするNVIDIA GPUで、VRAMが8 GB以上; AMD GPUは追加のドライバのダウンロードとインストールが必要です。

プラットフォーム: linux-amd64

インストール

ステップ1: 設定

Shastaをダウンロードし、パッケージを任意の場所に解凍します（例: /opt/shasta-linux）。

/shasta-linux/shasta.confを編集します。

  • hf_から始まるアクセストークンを最新の内容に変更　← お手数ですがKrugleの担当エンジニアにご確認ください
  • YOUR_KE_HOSTをKrugle Enterpriseサーバーのホスト名に変更
  • KAS認証が有効な環境では、YOUR_KE_USERNAMEとYOUR_KE_PASSWORDも変更
hf_xxxxxxxxxxxxxxxxxxxxxxxxx
YOUR_KE_API_URL
YOUR_KE_USERNAME
YOUR_KE_PASSWORD

ステップ2: インストール

注意: インストールスクリプトはsudo権限が必要です。ルートユーザーとして実行する必要があります。

cd /opt/shasta-linux
sudo bash ./install.sh

「Krugle Enterpriseサーバーホスト」を入力するように求められます。Krugle EnterpriseサーバーのIPアドレスまたはドメイン名を提供してください。

Krugle Enterpriseサーバーホストを入力してください:

モデルの選択を求められます。最新のモデル KrugleAI Code 10B を選択することをお勧めします。このモデルはパフォーマンスが向上しており、コード移行などの専門的なタスクに調整されています。

Please choose an LLM to install:

A) [KrugleAI Code 7B & KrugleAI Code Base 1.5B] - SIZE: 5.8 GB RAM/VRAM: 15+ GB
B) ✨🥇 [KrugleAI Code 10B] - SIZE: 8.7 GB RAM/VRAM: 15+ GB
C) [ALL] SIZE: 14.5 GB RAM/VRAM: 15+ GB

Enter your choice:

このステップでは、KrugleAIモデルを取得して読み込むのに時間がかかる場合があります。✅ KrugleAI models have been initializedというメッセージが表示されたら、初期化が完了したことを意味します。

ステップ3: Shastaを起動

sudo systemctl start shasta

アンインストール

cd /opt/shasta-linux
sudo bash ./uninstall.sh
sudo rm -rf /opt/shasta-linux
sudo rm -rf ~/.shasta

アップグレード

古いバージョンのShastaをアンインストールし、新しいバージョンをインストールしてください。

その他

ロギング

ログはここにあります: /var/log/shasta/shasta.log

Shastaを停止

sudo systemctl stop shasta

モデルの重みを手動でダウンロードする方法

ダウンロード可能なモデル：

  • KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M
  • KrugleAI-Code-35B-Chat-V1.0-GGUF.Q5_K_M
  • KrugleAI-text-embedding-V1.0-GGUF.Q8_0

  1. Shastaインストーラーディレクトリに移動します。例：

    • Linux: /root/shasta-linux
    • macOS: ~/Documents/shasta-darwin
    • Windows: C:\shasta-win\

  2. まだインストールしていない場合は、Git LFSをインストールします：

[ubuntu] apt-get install git-lfs
[mac] brew install git-lfs
[win] winget install -e --id GitHub.GitLFS
  1. LLM重みファイル（例：KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M）をダウンロードします。

認証情報を求められたら、以下を使用してください：

  • ユーザー名: krugleclient
  • パスワード: [Kruglet担当エンジニアにお問い合わせください]
# $SHASTA_INSTALLER_HOME は、shasta コマンドが存在するディレクトリです

cd $SHASTA_INSTALLER_HOME
mkdir .models
cd .models

以下のコマンド形式でモデルをクローンしてください：git clone $HF_MODEL_URL $krugle_MODEL_FULL_NAME

例: [KrugleAI Code 15B + KrugleAI Text Embedding]

警告： ダウンロードファイル名にあるkrugle_プレフィックスに注意してください：

krugle_KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M

git clone https://huggingface.co/krugle/KrugleAI-Code-35B-Chat-V1.0-GGUF.Q5_K_M krugle_KrugleAI-Code-35B-Chat-V1.0-GGUF.Q5_K_M
git clone https://huggingface.co/krugle/KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M krugle_KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M
git clone https://huggingface.co/krugle/KrugleAI-text-embedding-V1.0-GGUF.Q8_0 krugle_KrugleAI-text-embedding-V1.0-GGUF.Q8_0
  1. モデルをロードする

以下のコマンドを実行します：

# Linuxの場合
shasta init

# macOSの場合
./shasta init

# Windowsの場合
.\shasta.exe init

以下のメッセージが表示されたら：

Enter Y for offline installation, or any other key for online installation

Yと入力してください。

Please choose an LLM to install:

A) ✨🥇 [KrugleAI Code 15B + KrugleAI Text Embedding] - SIZE: 10.15 GB RAM/VRAM: 15+ GB
B) [KrugleAI Code 10B + KrugleAI Text Embedding] - SIZE: 8.85 GB RAM/VRAM: 15+ GB
C) [KrugleAI Code 35B + KrugleAI Text Embedding] - SIZE: 23.15 GB RAM/VRAM: 48+ GB

インストールするモデルを選択してください。A/B/C

  1. インストール完了後、shasta lsコマンドにて意図したモデルがインストールされていることを確認

　　＊インストールが成功した場合、手順中で作成した.modelsフォルダは自動的に削除されます

ライセンス

© 2025 Krugle/Aragon Consulting Group, Inc.