O que vai ser necessário? - AnselmoBorges/projetorescue GitHub Wiki
Vou dividir o que vai ser necessário em cada uma das etapas e se você ainda não manja sobre cada uma delas, não esquenta, eu passo uns links de uns cursos que você pode fazer primeiro e depois voltar aqui sem problemas.
- Conhecimento básico de Python
- Conhecimento básico de Airflow
- Conhecimento básico sobre Storage Account Azure
- Conhecimento básico sobre Databricks
- Conhecimento básico sobre DBT
- Conhecimento básico de SQL
- Conhecimento básico de Docker
Caso não manje nenhum desses como já disse não esquenta, estou deixando o máximo mastigadinho o processo e vou linkar cada um desses com treinamentos rápidos a respeito, não se preocupe em fazer esse projeto rápido, é um cenário mais próximo do real onde você vai pegar TODOS os passos do processo, tem gente que trabalha a anos com isso e não conhece metade dessas ferramentas. Vai, estude o link que eu deixar, volte aqui e retome.