QuickStartSakuraLLM - NEKOparapa/AiNiee GitHub Wiki

要求

• 至少 8G 显存的 Nvidia 独立显卡
• 确保安装了 最新版本 的显卡驱动程序

步骤

• 从 发布页 下载最新版本的 SakuraLLMServer 并解压缩
• 根据显存大小下载适合的模型并放入 SakuraLLMServer 文件夹

显存大小	模型规模	下载链接
8G/10G	7B	sakura-7b-qwen2.5-v1.0-iq4xs.gguf
11G/12G/16G	14B	sakura-14b-qwen2.5-v1.0-iq4xs.gguf
24G	14B	sakura-14b-qwen2.5-v1.0-q6k.gguf

启动

• 现在你的文件结构应该类似于：

  SakuraLLMServer\llama\...
                    \00_Core.bat
                    \01_1280_NP16.bat
                    \sakura-14b-qwen2.5-v1.0-iq4xs.gguf
                    \...

• 根据 你的显存和模型的搭配组合 选择对应的启动脚本，双击启动即可

显存大小	模型规模	启动脚本
8G/10G	7B	01_1280_NP16.bat
11G	14B	01_1280_NP4.bat
12G	14B	01_1280_NP6.bat
16G/24G	14B	01_1280_NP16.bat

设置 AiNiee

• 确保安装了 最新版本（版本号 >= 5.2） 的 AiNiee 应用
• 启动应用，设置以下选项，其余设置保持默认即可：：

选项	设置
接口管理 - SakuraLLM - 编辑接口 - 接口地址	http://127.0.0.1:8080
接口管理 - SakuraLLM - 编辑接口 - 模型名称	Sakura-v1.0
项目设置 - 接口名称	SakuraLLM
基础设置 - 翻译任务切分模式	Token 模式
基础设置 - 翻译任务的最大 Tokens 数	384
基础设置 - 同时执行的翻译任务数量	启动脚本名称中 NP 后的数字
基础设置 - 翻译流程的最大轮次	20

开始翻译

• 将要翻译的文本放入 输入文件夹（默认为应用目录内的 input 文件夹）
• 根据实际情况对 项目设置 页面的各项信息进行设置
• 开始翻译
• 翻译进度将在 控制台（黑色文本窗口） 和 开始翻译 页面上更新
• 翻译结果将在翻译完成后保存到 输出文件夹（默认为应用目录内的 output 文件夹）