Controle de tarefas em paralelo no Prefect - basedosdados/pipelines GitHub Wiki
Map e Unmapped
A função map e unmapped são usadas no Prefect para lidar com o fluxo de controle de tarefas em paralelo.
map: A função map é usada para criar várias instâncias de uma tarefa com base em uma lista de entradas. Cada instância da tarefa é executada em paralelo e recebe um item da lista de entrada. Isso é útil quando você tem uma tarefa que precisa ser executada várias vezes com diferentes entradas.
unmapped: A função unmapped é usada em conjunto com map quando você quer que um argumento seja o mesmo para todas as instâncias da tarefa mapeada, em vez de ser mapeado para uma lista de entradas.
Maiores informações aqui:
Mapear fluxos com vários valores de parâmetros?
Para lidar com os vários parâmetros, você precisa criar uma lista de dicionário. Para maiores informações:
Lidando com Upstream_tasks em task.map()
Para lidar com upstream_tasks dentro da task.map(), você precisa colocar acrescentar um colchetes, da seguinte forma:
upstream_tasks=[unmapped(wait_for_materialization)]
Para maiores informações: