Convenciones - alkemyTech/OT234-python Wiki

Índice

  1. Estructura de Archivos

  2. Nomenclatura de Archivos

    1. Archivos SQL
    2. Codificación de Universidades
      1. Ejemplo
    3. Archivos CSV

Estructura de Archivos

Se utilizará la estructura de archivos recomendada por el sitio ASTRONOMER, siendo la estructura como se muestra a continuación:

OT234-PYTHON/airflow/
├── dags/
│   ├── example-dag1.py
│   └── example-dag2.py
├── plugins/
├── include/
│   ├── query1.sql
│   └── query1.sql
├── dataset/
│   ├── processed1.csv
│   └── processed1.csv
├── files/
│   ├── unprocessed1.csv
│   ├── unprocessed2.csv
├── packages.txt
└── requirements.txt

Nomenclatura de Archivos

Archivos .sql

Se propone el uso de la siguiente estructura para los nombres de los archivos .sql de consultas:

UNIV_Fecha-Inicio_Fecha-Fin_ISSUE.sql
  • UNIV = Universidad consultada. Se utilizaria código de 4 caracteres según la siguiente tabla.

      UFlo = Universidad De Flores
      UNVM = Universidad Nacional De Villa María
      UNCo = Univ. Nacional Del Comahue 
      USal = Universidad Del Salvador
      UNJu = Universidad Nacional De Jujuy 
      UPal = Universidad De Palermo
      UTNa = Universidad Tecnológica Nacional
      UNTF = Universidad Nacional De Tres De Febrero
      UNLP = Universidad Nacional De La Pampa
      UAIn = Universidad Abierta Interamericana
      UMor = Universidad De Morón
      UNRC = Universidad Nacional De Río Cuarto
      FLCS = Facultad Latinoamericana De Ciencias Sociales
      UJFK = Universidad J. F. Kennedy
      UCin = Universidad Del Cine
      UBAi = Universidad De Buenos Aires
    
  • Fecha_Inicio = Fecha 'desde' referida al período de consulta en formato 'AAAA-MM-DD'.

  • Fecha_Fin = Fecha 'hasta' referida al período de consulta en formato 'AAAA-MM-DD'.

  • ISSUE = Número de ISSUE de Jira con formato 'OT234-nn'. (Quizás podriamos no considerar el OT234 ya que se repite en todas las issues)

Ejemplo

Para el caso de la Issue OT234-12 con la siguiente descripción:

   COMO: Analista de datos
   QUIERO: Escribir el código de dos consultas SQL, una para cada universidad.
   PARA: Obtener los datos de las pesonas anotadas en entre las fechas 01/9/2020 al 01/02/2021 para las siguientes facultades: 
   * Universidad De Flores
   * Universidad Nacional De Villa María
   Criterios de aceptación:
  Deben presentar la consulta en un archivo .sql. 
   La consulta debe disponibilizar únicamente la información necesaria para que en un futuro sea procesada y genere los siguientes datos para las fechas indicadas.

Los nombres de los archivo quedarían conformados de la siguiente manera:

UFlo_2020-09-01_2021-02-01_OT234-12.sql

UNVM_2020-09-01_2021-02-01_OT234-12.sql

Archivos .csv

Los datos de la consulta de las bases de datos deberán ser guardados en forma local en formato .csv en la carpeta /OT234-PYTHON/airflow/files/ para su posterior procesado por Pandas. Los nombres de archivos serán similares a los especificados en la consulta sql.

El dataset resultante del procesamiento de Pandas deberá ser guardado en formato .csv en la carpeta /OT234-PYTHON/airflow/dataset/ , previo a ser subido a S3. El formato del archivo debe seguir la convención establecida para los archivos .sql, antecediendo con el prefijo 'dataset_' e incluyendo el issue correspondiente a la operación. La estructura quedará con el siguiente formato:

dataset_UNIV_Fecha-Inicio_Fecha-Fin_ISSUE.csv