Desarollo - wandent/mutual-wiki GitHub Wiki

Arquitectura Física en desarrollo

[[TOC]]

image.png

Descripción

Self-hosted integration runtime - on prem - VM

  • Una instancia de una maquina virtual, con el Self-hosted integration runtime (Data Factory) instalado y configurado. Con comunicación con la DEVEUSVNETDEVS001 (emparejada con otras vnets en el contexto de los sistemas fuente integrados)

Event Hub Namespace

Se acuerde que el namespace aprovisionado como parte de la arquitectura inicial, es la raiz para otros Event Hubs, efectivamente para integrar con un stream de datos es necesario aprovisionar los Event Hubs para cada una de las colas de eventos, y garantizar que la capacidad esta adecuada a la carga de trabajo.

Reglas de firewall interno (Data Lake, SQL )

Se aplicarían a los 3 endpoints de consumo

  • Un para el Land
  • Un para el Datalake Store, en el caso los dos primeros deberán de estar en whitelisted para las vnet/subnets de databricks (publica y privada)

Land

Containers en Land

  • Capture
    • Persistencia de datos de Event Hub
    • Archivos en formato Avro
  • Land
    • Archivos / Tablas
  • CDM
    • Common Data Model, inicialmente par integración on Dynamics CRM.

Data Lake Store

  • trusted
  • refined
  • sandbox

Databricks

Workspace Databricks con el contenido de los notebooks de usuarios, jobs y configuraciones de clúster. El workspace está configurado en la **DEVEUSVNETDEVS001 **, con sus propias subredes. En este sentido, esta abierto en las reglas para comunicar con el portal de Databricks (https://eastus2.azuredatabricks.net o usando la url directa para el workspace de Mutual) considere que las instancias de clústeres serán criadas con IPs en **DEVEUSVNETDEVS001 **

VM Pivote

Para acciones de mantenimiento que necesiten recursos posiblemente restringidos a la **DEVEUSVNETDEVS001 **, no disponibles vía internet publica. Es opcional tenerla, para mantenimiento o desarrollo remoto sin tener que asignar reglas especificas para cada utilizador para resolver problemas.

⚠️ **GitHub.com Fallback** ⚠️