LLM - andyceo/documentation GitHub Wiki
Программы, позволяющие хостить LLM (производить инференс):
-
Ollama (Github)
- Установить на удаленном хосте следующие переменные:
-
OLLAMA_ORIGINS
:*
|chrome-extension://*
|moz-extension://*
(можно перечислить через запятую) -
OLLAMA_MODELS
:G:\AI\Ollama\models
-
OLLAMA_HOST
:0.0.0.0
-
- Установить на удаленном хосте следующие переменные:
- MLC LLM (Github)
Клиенты к моделям:
-
ShellGPT: командная строка к ChatGPT (а также можно использовать Ollama-модели)
- Устанавливать лучше через
pipx
:pipx install shell-gpt[litellm]
- Устанавливать лучше через
- Maid - Mobile Artificial Intelligence Distribution: мобильное приложение
-
Lumos: браузерное расширение для того чтобы скормить локальной модели контент страницы
- компиляция проекта выкачивает около 200Mb модулей, а сборка проекта делает папку размером 500-600 Мб!
- ссылки на разные статьи о проекте доступны в конце его файла
README.md
- OdinRunes: джава-клиент, позволяющий вести диалоги в обычном текстовом редакторе
Компании:
- Hugging Face
- ProxyAPI: беспроблемный посредник для доступа к OpenAI ChatGPT (очень дорого для GPT4!)
Тесты моделей и соревнования:
Руководства и статьи: