AI‐Agent - wlshiu/my_note GitHub Wiki

LLM Module

量化版本(Quantization): 建議選擇名為 q4_k_m 或簡稱 q4 的版本,這是效能與體積的最佳平衡

  • 極輕量級 1B ~ 3B

    適合 CPU 運行或筆電節能模式

    • Phi-3.5 Mini (3.8B): 微軟最強小模型, 推理效率高
    • Qwen2.5 0.5B/1.5B: 極快, 適合簡單的文字生成

  • 綜合能力強、入門首選 7B ~ 9B

    適合一般電腦、筆電（8GB-16GB RAM），速度快，語境理解能力佳

    • Llama 3.1 8B Instruct: Meta 的主力模型, 通用能力最平衡, 支援 128K 超長上下文
    • Llama-3-Taiwan: 第一個開源台灣繁體中文LLM, 基於Meta/Llama 系列的微調模型
    • Llama-3.2-Taiwan-3B-Instruct
    • Qwen2.5 7B (Instruct): 阿里巴巴出品, 中文能力最強, 且在程式碼和邏輯推理方面表現優異
    • Gemma 2 9B: Google 新架構, 在記憶體使用與推理效能上優化良好
    • DeepSeek-R1-Distill-Qwen-7B/8B: 推理與程式能力優異
    • CodeLlama: 對 Python/C++/Java 等語言有超高精度,尤其擅長大型專案
    • DeepSeek-Coder: 記憶體效率高,適合處理長程式碼或多檔案專案
    • Qwen 2.5 Coder: 輕量級多語言程式設計任務,快速程式碼補全,對中文程式文件產生友好
    • StarCoder2: 腳本編寫能力強

  • 推理、複雜任務與程式碼 14B ~ 32B+

    適合有高階顯示卡 (12GB VRAM 以上) 的工作站

    • Qwen3-32B / Qwen2.5-72B (量化版): 中文語境與複雜任務最強。
    • DeepSeek-R1 (14B/32B+): 強大的推理模型, 特別適合邏輯推理與困難問題
    • Mistral-Nemo-12B: 指令遵循能力強
    • WizardLM-2 (7B/8x22B): 微軟發布, 在複雜聊天、多語言和推理任務上非常出色
    • GPT-OSS 20B: 高階推理、工具呼叫、AI Agent工作流程、GPT-4 層次的效能
    • DeepSeek V3.2-Exp: 高階推理能力、思考模式、數學問題解決能力、程式碼分析能力

OpenClaw

VM Linux

NotebookLM

Ollama

LM Studio