Instalación de Llama 2 con Conda

En este modelo que se siguío como ejemplo usan InstructorEmbeddings en lugar de LlamaEmbeddings como se usa en el GPT privado original.

Tanto Embeddings como LLM se ejecutarán en GPU en lugar de CPU. También es compatible con CPU si no tiene una GPU (consulte las instrucciones a continuación).

Haga preguntas sobre sus documentos sin conexión a Internet, utilizando el poder de los LLM. 100% privado, ningún dato sale de su entorno de ejecución en ningún momento. ¡Puedes ingerir documentos y hacer preguntas sin conexión a Internet!

Paso 1

Instalar conda

Para instalar Conda en Mac: Aquí

Para instalar Conda en Windows: Aquí

Paso 2

Configurar el entorno

conda create -n localGPT

Activa el entorno

conda activate localGPT

Para configurar su entorno para ejecutar el código aquí, primero instale todos los requisitos

pip install -r requirements.txt

---

Requisitos del sistema

Versión de Python

Para utilizar este software, debe tener instalado Python 3.10 o posterior. Las versiones anteriores de Python no se compilarán.

Compilador C++

Si encuentra un error al crear una rueda durante el pip install proceso, es posible que deba instalar un compilador de C++ en su computadora.

Para ventanas 10/11

Para instalar un compilador de C++ en Windows 10/11, debe seguir estos pasos:

1. Instale Visual Studio 2022.
2. Asegúrese de que estén seleccionados los siguientes componentes:

• Desarrollo de la plataforma universal de Windows
• Herramientas C++ CMake para Windows

3. Descargue el instalador de MinGW desde el sitio web de MinGW .
4. Ejecute el instalador y seleccione el componente "gcc".

Resultados