Программы, позволяющие хостить LLM (производить инференс):

• Ollama
• MLC LLM (Github)

Клиенты к моделям:

• ShellGPT: командная строка к ChatGPT (а также можно использовать Ollama-модели)
  • Устанавливать лучше через pipx: pipx install shell-gpt[litellm]
• Maid - Mobile Artificial Intelligence Distribution: мобильное приложение
• Lumos: браузерное расширение для того чтобы скормить локальной модели контент страницы
  • компиляция проекта выкачивает около 200Mb модулей, а сборка проекта делает папку размером 500-600 Мб!
  • ссылки на разные статьи о проекте доступны в конце его файла README.md
• OdinRunes: джава-клиент, позволяющий вести диалоги в обычном текстовом редакторе

Компании:

• Hugging Face
• ProxyAPI: беспроблемный посредник для доступа к OpenAI ChatGPT (очень дорого для GPT4!)

Тесты моделей и соревнования:

• https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

Руководства и статьи:

• https://www.promptingguide.ai (на русском: Руководство по промпт-инжинирингу)

• Independent analysis of AI models and API providers: независимое сравнение моделей

Interpreting Model Names: What does the Q#_K_M mean in quantized models?

In the context of llama.cpp, Q4_K_M refers to a specific type of quantization method. The naming convention is as follows:

Q stands for Quantization.
4 indicates the number of bits used in the quantization process.
K refers to the use of k-means clustering in the quantization.
M represents the size of the model after quantization.
(S = Small, M = Medium, L = Large).

https://medium.com/@ingridwickstevens/quantization-of-llms-with-llama-cpp-9bbf59deda35