Llama2 con GPU - Chavic12/ProyectoData GitHub Wiki

Guía para Utilizar Modelos de Lenguaje Llama2 (7B) con Diferentes Configuraciones de Mac

Requisitos del Sistema

  • Mac M1 con 8 GB de RAM: No se recomienda utilizar modelos de lenguaje Llama2 (7B) en esta configuración debido a la limitada RAM.

  • Mac M2 con 16 GB de RAM: Suficiente para ejecutar el modelo de manera eficiente.

  • Mac con 64 GB de RAM (Procesador Intel): No se puede utilizar la GPU para acelerar el procesamiento debido al procesador Intel.

  • PC con i7 de 12ª generación y 16 GB de RAM (Windows): Suficiente para ejecutar el modelo de manera eficiente.

Pasos a Seguir

Mac M1 (8 GB de RAM)

Debido a la limitada cantidad de RAM, no se recomienda ejecutar modelos de lenguaje Llama2 con 7B en esta configuración, ya que puede resultar en un rendimiento deficiente o errores debido a la insuficiencia de memoria.

Mac M2 (16 GB de RAM)

Instalar la versión de Conda para MacOS que soporta GPU Metal

Soporte para procesador Apple arm64

wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-arm64.sh
bash Miniforge3-MacOSX-arm64.sh

Crear un entorno virtual

  1. Abrir la terminal

  2. Navegar al directorio donde lo desea crear

  3. Ejecutar conda create -n llama python=3.9.16 para crear el entorno

  4. Activa el entorno conda activate llama

  5. Puedes empezar a instalar dependencias que necesites en el entorno activado El tener un entorno virtual proporciona un entorno aislado para la ejecución de la aplicación, con la ventaja de que sus dependencias están fuera de otras dependencias.

  6. Descarga el modelo de lenguaje Llama2 (7B) de TheBloke's Model Hub.

  7. Coloca el modelo descargado en el directorio de tu proyecto o en el lugar donde estés ejecutando tu código.