Instalación local

Pasos de instalación de llama 2 en maquina de laboratorio

Enlace de guía para la instalación Llama2 utiliza los lenguajes Python, Java y C++ para desarrollar sus librerías y requerimientos. Es necesario tener estos lenguajes instalados porque llama2 está escrito en estos lenguajes.

Paso 1

Determinar si tiene las siguientes versiones de los lenguajes necesarios instaladas, ya que son necesarias para seguir con el proceso de instalación de llama 2, en caso de no tener instalados, puede entrar a los enlaces de descarga de la página principal.

Python

Es un lenguaje versátil y fácil de aprender que se usa ampliamente en aplicaciones web, análisis de datos, inteligencia artificial y automatización de procesos. Se requiere la versión de Python 3.9 para no tener ningún tipo de inconveniente. Enlace de descarga.

Para saber la versión instalada

python3 -version

Muestra la versión de Python

Python 3.9.11

---

Java

Es un lenguaje de propósito general que se utiliza en aplicaciones web, móviles y sistemas embebidos, y es más rápido en tiempo de ejecución y más fácil de depurar que Python. Enlace de descarga. JAVA

Para saber la versión instalada

java -version

---

C++

Es el lenguaje más potente para desarrolladores de software y se utiliza en aplicaciones que requieren un alto rendimiento, como videojuegos y sistemas operativos. Llama también es basado en C++

Para saber la versión instalada

g++ --version 

Para instalar C++

xcode-select --install

---

PASO 2

Instalar la versión de Conda para MacOS que soporta GPU Metal

Soporte para procesador Apple arm64

wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-arm64.sh
bash Miniforge3-MacOSX-arm64.sh

Soporte para procesador Intel x86-64

wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-x86_64.sh
bash Miniforge3-MacOSX-x86_64.sh

Crear un entorno virtual

1. Abrir la terminal
2. Navegar al directorio donde lo desea crear
3. Ejecutar conda create -n llama python=3.9.16 para crear el entorno
4. Activa el entorno conda activate llama
5. Puedes empezar a instalar dependencias que necesites en el entorno activado El tener un entorno virtual proporciona un entorno aislado para la ejecución de la aplicación, con la ventaja de que sus dependencias están fuera de otras dependencias.

---

Paso 3

Instalación de LlamaCpp

Se procede a instalar la librería de ´llama-cpp-python` con soporta para GPUs Metal.

pip uninstall llama-cpp-python -y
CMAKE_ARGS="-DLLAMA_METAL=on" pip install -U llama-cpp-python --no-cache-dir
pip install 'llama-cpp-python[server]'

Ahora debe tener instalado llama-cpp-python correctamente.

llama-cpp-python         0.1.71

Clonar este repositorio

git clone https://github.com/afaqueumer/DocQA.git

Dentro del entorno virtual instale las dependencias necesarias

pip3 install -r requirements.txt 

Ejecutamos el siguiente comando

setup_env.sh

Inicie la aplicación Streamlit

python3 run_app.sh

---

RESULTADOS OBTENIDOS