LLM (Large Language Models)

Проекты вокруг LLM

Программы, позволяющие хостить LLM (производить инференс):

Клиенты к моделям:

ShellGPT: командная строка к ChatGPT (а также можно использовать Ollama-модели)
- Устанавливать лучше через pipx: pipx install shell-gpt[litellm]
Maid - Mobile Artificial Intelligence Distribution: мобильное приложение
Lumos: браузерное расширение для того чтобы скормить локальной модели контент страницы
- компиляция проекта выкачивает около 200Mb модулей, а сборка проекта делает папку размером 500-600 Мб!
- ссылки на разные статьи о проекте доступны в конце его файла README.md
OdinRunes: джава-клиент, позволяющий вести диалоги в обычном текстовом редакторе

Компании:

Hugging Face
ProxyAPI: беспроблемный посредник для доступа к OpenAI ChatGPT (очень дорого для GPT4!)

Тесты моделей и соревнования:

Руководства и статьи: