Actividades semanalmente realizadas - Chavic12/ProyectoData GitHub Wiki
Actividades
Semana del 7 al 11 de agosto
Fecha | Horario | Actividad | Responsable |
---|---|---|---|
07-08-2023 | 09h00-13h00 15h00-17h00 | Indagar las universidades a nivel nacional, Consultar proceso de scrapy | Xavier Chavez |
07-08-2023 | 09h00-13h00 15h00-17h00 | Búsqueda de datos en varios formatos de componentes de las carreras por universidad, Desarrollo de lista de componentes a extraer por universidad | Lady Puchaicela |
07-08-2023 | 09h00-13h00 15h00-18h00 | Repositorio de enlaces de los datos encontrados de cada universidad, Descargar herramientas a utilizar | Nixon Vuele |
08-08-2023 | 08h00-13h00 15h00-18h00 | Scrapy de carreras de la UTPL Solución de errores generados por el patron HTML | Xavier Chavez |
08-08-2023 | 08h00-13h00 15h00-18h00 | Scrapy de materias de la UTPL | Lady Puchaicela |
08-08-2023 | 09h00-13h00 15h00-17h00 | Solución de errores generados por el patron HTML | Nixon Vuele |
09-08-2023 | 08h00-13h00 15h00-18h00 | Unión de código de Scrapy con código de Beautifull soup | Xavier Chavez |
09-08-2023 | 09h00-13h00 15h00-18h00 | Desarrollo de scrapy en campos faltantes | Lady Puchaicela |
09-08-2023 | 09h00-13h00 15h00-17h00 | Scrapy enlace de carreras | Nixon Vuele |
10-08-2023 | -- | -- | -- |
11-08-2023 | 09h00-13h00 | Scrapy de maestrías | Xavier Chavez |
11-08-2023 | 09h00-13h00 | Scrapy de campos ocupacionales, perfil profeional, etc. | Lady Puchaicela |
11-08-2023 | 09h00-13h00 | Scrapy titulo, modalidad, duración | Nixon Vuele |
Semana del 14 al 17 de agosto
Fecha | Horario | Actividad | Responsable |
---|---|---|---|
14-08-2023 | 09h00-13h00 15h00-18h00 | Solución de errores en scrapy | Nixon Vuele |
14-08-2023 | 09h00-13h00 15h00-18h00 | Solución de errores en scrapy | Lady Puchaicela |
14-08-2023 | 09h00-13h00 15h00-18h00 | Validación de código de Scrapy con código de Beautifull soup | Xavier Chavez |
15-08-2023 16-08-2023 | 09h00-13h00 15h00-18h00 | Extracción a mano de datos faltantes de carreras | Xavier Chavez |
15-08-2023 16-08-2023 | 09h00-13h00 15h00-18h00 | Extracción a mano de datos faltantes de maestrías | Lady Puchaicela |
15-08-2023 16-08-2023 | 09h00-13h00 15h00-18h00 | Extracción a mano de datos faltantes de tecnologías | Nixon Vuele |
17-08-2023 | 09h00-13h00 | Búsqueda de métodos de instalación de llama 2 | Lady Puchaicela |
17-08-2023 | 09h00-13h00 | Pruebas de distintas formas de instalación de llama 2 en Windows | Nixon Vuele |
17-08-2023 | 09h00-13h00 | Pruebas de distintas formas de instalación de llama 2 en Mac | Xavier Chavez |
Semana del 28 de agosto al 1 de septiembre
Fecha | Horario | Actividad | Responsable |
---|---|---|---|
28-08-2023 | 09h00-13h00 | Limpieza de datos | Xavier Chavez |
28-08-2023 | 09h00-13h00 | Documentación en Wiki | Lady Puchaicela |
28-08-2023 | 09h00-13h00 | Tratamiento de datos en pandas | Nixon Vuele |
28-08-2023 | 09h00-13h00 | Investigación de llama 2 en Windows | Adrián Rivera |
29-08-2023 | 09h00-13h00 | Extracción de datos a manos de imágenes de maestrías. Documentación de patrones en estructura de HTML | Lady Puchaicela |
29-08-2023 | 09h00-13h00 | Extracción de datos a manos de PDF de tecnologías | Nixon Vuele |
29-08-2023 | 09h00-13h00 | Instalación de llama 2 en MAC con otro método. Tratamiento de datos en pandas, campos vacíos, etc. | Xavier Chavez |
29-08-2023 | 09h00-13h00 | Extracción de datos a manos de imágenes de maestrías | Adrián Rivera |
30-08-2023 | 09h00-13h00 | Desarrollo de algoritmo de similitud entre carreras y materias | Lady Puchaicela |
30-08-2023 | 09h00-13h00 | Validación de datos con CSV de mallaCurricular | Nixon Vuele |
30-08-2023 | 09h00-13h00 | Limpieza de datos agregados | Xavier Chavez |
31-08-2023 | 09h00-13h00 | Instalación local de llama 2 en ordenador MAC del laboratorio | Lady Puchaicela |
31-08-2023 | 09h00-13h00 | Desarrollo de Match entre los datos de mallaCurricular y datosScrapy | Nixon Vuele |
31-08-2023 | 09h00-13h00 | Pruebas de preguntas y respuestas en navegador con llama 2 | Xavier Chavez |
31-08-2023 | 09h00-13h00 | Continúa probando instalación de llama2 en Windows | Adrián Rivera |
01-09-2023 | 09h00-13h00 | Solución de errores en instalación de llama2 del laboratorio | Lady Puchaicela |
01-09-2023 | 09h00-13h00 | Ajuste de código para determinar la similitud entre materias, carreras, y otros datos entre los CSV | Nixon Vuele |
01-09-2023 | 09h00-13h00 | Solución de errores en instalación de llama2 del laboratorio | Xavier Chavez |
01-09-2023 | 09h00-13h00 | Prueba con los modelos descargados, aún hay errores al instalar | Adrián Rivera |
Semana del 4 al 8 de septiembre
Fecha | Horario | Actividad | Responsable |
---|---|---|---|
04-09-2023 | 09h00-13h00 15h00-18h00 | Instalación final de llama 2. Pruebas de pregunta respuestas realizadas. Se obtiene respuesta, sin embargo, se demora mucho al responder | Lady Puchaicela |
04-09-2023 | 09h00-13h00 15h00-18h00 | Unión de datos extraídos de forma manual | Nixon Vuele |
04-09-2023 | 09h00-13h00 | Validación, corrección, agregación de datos entre PDF computación al csv general | Xavier Chavez |
04-09-2023 | 09h00-13h00 | Validación, corrección, agregación de datos entre PDF finanzas al csv general | Adrián Rivera |
05-09-2023 | 09h00-13h00 | Búsqueda de campos a mano que no se extrajeron de la página principal y comprobación de los mismos en el genera. Documentación de los campos faltantes con sus respectivos enlaces y patrón definido | Lady Puchaicela |
05-09-2023 | 09h00-13h00 | Unión de datos extraídos y corregidos nuevamente | Nixon Vuele |
05-09-2023 | 09h00-13h00 | Extracción de los campos de la carrera de computación validando descripciones faltantes | Xavier Chavez |
05-09-2023 | 09h00-13h00 | Adrián Rivera | |
06-09-2023 | 09h00-13h00 | Extracción a mano de la información de las maestrías, enlace por enlace, realizando búsqueda por web de las mallas y su información, que no se encuentran en la página principal de ofertas UTPL, e incluso que solo hay copias en PDF de su información. | Lady Puchaicela |
06-09-2023 | 09h00-13h00 | Nuevo ajuste del algoritmo de similitud, reemplazo de carreras que estaban con nombres distintos. | Nixon Vuele |
06-09-2023 | 09h00-13h00 | Extracción a mano de la información de las maestrías que no se encuentran en la página principal de ofertas UTPL | Xavier Chavez |
06-09-2023 | 09h00-13h00 | Modificación del código de llama 2 para local, donde se pueda recibir ya no CSV sino archivos con toda la información en JSON | Adrián Rivera |
07-09-2023 | 09h00-13h00 | Documentación de las actividades semanales, errores, obtenidos, pruebas realizadas, entre otros aspectos encontrados. Extracción de datos y validación de PDF administración de empresas en el CSV general | Lady Puchaicela |
07-09-2023 | 09h00-13h00 | Remplazar nombres en itinerarios porque su formato no es el mismo entre los campos de un CSV con otro csv | Nixon Vuele |
07-09-2023 | 09h00-13h00 | Realiza pruebas con otros métodos de instalación con llama 2 en su MAC personal | Xavier Chavez |
07-09-2023 | 09h00-13h00 | Validación de datos desde el PDF de finanzas con el CSV general y corrección de algunos campos | Adrián Rivera |
--- | |||
07-09-2023 | 09h00-13h00 | Extracción de datos y investigar datos computación, administración de empresas, finanzas, tecnologías de la información | Lady Puchaicela |
07-09-2023 | 09h00-13h00 | Nixon Vuele | |
07-09-2023 | 09h00-13h00 | Realiza pruebas con otros métodos de instalación con llama 2 en su MAC personal | Xavier Chavez |
07-09-2023 | 09h00-13h00 | Validación de datos desde el PDF de finanzas con el CSV general y corrección de algunos campos | Adrián Rivera |