Acá desarrollaremos las convenciones acordadas para el proyecto.

Convención para nombrar archivos

Sentencias SQL

Se colocará grupo-letra-siglas de la universidad y localidad para distinguirla facilmente. Si algun nombres llevara tilde la omitiremos en esos casos. Omitir articulos de conexión.

EJ: universidad de Flores que pertence al grupo A seria GAUFlores Universidad Nacional de Río Cuarto del grupo F sería GFUNRioCuarto

DAG ETL

Se colocará grupo-letra-siglas de la universidad y localidad, seguido por "_dag_elt.py" para diferenciar de archivos.

EJ: GFUNRioCuarto_dag_etl.py

DAGs generados dinámicamente

Se mantendrá la estructura anterior pero se agregará al principio dos DD para referenciar que es un Dag Dinamico

EJ: DD_GFUNRioCuarto_dag_etl.py

Convención para nombrar carpetas

OT301-python

-airflow

  -assets

  -dags

  -datasets
  
  -files

  -include

  -plugins

-bigdata

  -datasets

  -libs

  -notebooks

  -outputs

  -hadoopApellido

Convencion para el nombre de la base de datos

conexion con base de datos

se llamara 'alkemy_db'

conexion para S3

se llamara 'aws_s3_bucket'

csv generados

Se colocará grupo-letra-siglas de la universidad y localidad, seguido por "_select.csv" para diferenciar el dag realizado.

EJ: GFUNRioCuarto_select.csv

txt generados

Se colocará grupo-letra-siglas de la universidad y localidad, seguido por "_process.txt" para diferenciar el dag realizado.

EJ: GFUNRioCuarto_process.txt

Archivos GAGs Dinamicos

dentro de la carpeta plugins se ubicarán los siguientes archivos:

• config_GXNombreUniversidad.yaml
• generador_GX.py
• template_GX.jinja2