Migration & Transfer - ribeiry/AWS-Professional-Study GitHub Wiki

AWS Migration Hub

Serviço que provê um local centralizado para discovery, plan e track de migração e modernização;

SMS (Server Migration Service)

Recomendamos os clientes que usam no momento o Server Migration Service (SMS) a passar para o Application Migration Service em futuras migrações.

Application Migration Service

O AWS Application Migration Service (AWS MGN) é o principal serviço de migração recomendado para migrações lift-and-shift para a AWS, simplifica e agiliza sua migração para a nuvem. Ele permite que você perceba rapidamente os benefícios da migração de aplicações para a nuvem sem alterações e com o mínimo de tempo de inatividade.

Com o AWS Application Migration Service, você pode migrar suas aplicações da infraestrutura física, do VMware vSphere, do Microsoft Hyper-V, do Amazon Elastic Compute Cloud (AmazonEC2), da Amazon Virtual Private Cloud (Amazon VPC) e de outras nuvens para a AWS.

DataSync

Permite copiar milhoes de dados ou arquivos para a AWS ele permite a migração de dados ativos da sua rede on-premisse para a AWS.

  • Usa criptografia em transito (TLS)
  • Permite o controle de banda
  • Pode ser usado com conexão VPN, Direct Conect ou via Internet

Use case do DataSync

Transferencia de arquivos em direções opostas

Transferencia de dados em direções opostas permite que workflows para onde o aplicações ativas move entre locações. AWS DataSync não suporta workflows onde multiplas aplicações ativas escrevem no mesmo local no mesmo tempo.Usa passos na seguinte procedimento configura o DataSync para transferir o dado em direções opostas.

Usando multiplas tasks para escrever no mesmo Bucket

Em certos use cases, voce pode querer task diferentes para escrever no mesmo bucket. nesses casos, voce pode criar diferentes pastas dentro do bucket para cada uma dessas tasks. Essa abordagem preve conflitos entre tarefas de nome de arquivos, e também meios que voce pode ver diferentes permissões para cada pastas.

Permitindo o S3 acessar de uma private VPC endpoint

Em certos casos, voce pode querer permitir somente o acesso S3 para um private endpoint. Em casos, que voce cria um IAM Policy que permite acessar e anexar ao S3. Se voce precisa de uma policy que restringe sue s3 acessando o DataSync VPC endpoint.

Quando usar o DataSync

Quando escolher o AWS DataSync

DMS - Database Migration Services

Migração de base de dados entre ambientes On-Premis -> AWS e Vise-Versa

  • O banco de dados de origem se mantém disponível durante a migração
  • Suporta Migração :
    • Homogenea - Oracle - Oracle
    • Hetereogenea - Oracle para SQL Server
    • Continuos Data Replication usando CDC Obs.:Você deve criar uma instancia EC2 para performar a tarefa de replicação

AWS DMS Validation

AWS DMS prove um suporte para validação de dados para validar se seu dado foi migrado com precisão da origem para a fonte. Se habilitado, a validação inicia imediatamente depois das cargas completas é performada para a tabela. Validação compara incrementalmente as mudanças para um CDC habilitado da tarefa quando ocorre. Durante a validação do dado, AWS DMS compara cada linha com a origem com a linha correspondente do alvo, verifica as linhas se contem o mesmo dado e reporta qualquer incompatibilidade. para acompanhar o AWS DMS uma querie retorna o dado apropriado. Note que essas queries iram adicionar custo adicionais em seu recurso da origem e do alvo como aumento de custo dos recursos de rede. Para um CDC somente a tarefa com a validação habilitada, todas as pré-existentes na tabela irá ser validada antes de iniciar a validação do novo dado. Dados de validação trabalha com as seguintes databases tanto como fonte como Origem:

  • Oracle
  • PostgreSQL-compatible database (PostgreSQL, Aurora PostgreSQL, or Aurora Serverless for PostgreSQL)
  • MySQL-compatible database (MySQL, MariaDB, Aurora MySQL, or Aurora Serverless for MySQL)
  • Microsoft SQL Server
  • IBM Db2 LUW

Data validation requer um tempo adicional, além do tempo da migração em si. O tempo extra é requerido dempedendo de quanto dado está sendo migrado.

Limitações DMS com o RedShift

As seguintes limitações aplicam-se ao uso de um banco de dados do Amazon Redshift como destino:

  • Não ative o controle de versão para o bucket do S3 que você usa como armazenamento intermediário para o destino do Amazon Redshift. Se você precisar de controle de versão do S3, use políticas de ciclo de vida para excluir ativamente versões antigas. Caso contrário, você pode encontrar falhas de conexão de teste de endpoint devido a um S3list-object Tempo-limite da chamada. Para criar uma política de ciclo de vida para um bucket do S3, consulte. Para excluir uma versão de um objeto do S3.

  • O DDL a seguir não tem suporte:

ALTER TABLE table name MODIFY COLUMN column name data type;

  • O AWS DMS não pode migrar ou replicar alterações para um esquema com um nome iniciado com sublinhado (_). Se você tiver esquemas com um nome que começa com um sublinhado, usar transformações de mapeamento para renomear o esquema no destino.

  • O Amazon Redshift não oferece suporte a VARCHARs maiores que 64 KB. LOBs de bancos de dados tradicionais não podem ser armazenados no Amazon Redshift.

  • A aplicação de uma instrução DELETE a uma tabela com uma chave primária de várias colunas não tem suporte quando qualquer um dos nomes de coluna da chave primária usa uma palavra reservada.

  • Você pode ter problemas de desempenho se o sistema de origem executar operações UPDATE na chave primária de uma tabela de origem. Esses problemas de desempenho ocorrem ao aplicar alterações ao alvo. Isso ocorre porque as operações UPDATE (e DELETE) dependem do valor da chave primária para identificar a linha de destino. Se você atualizar a chave primária de uma tabela de origem, seu log de tarefas conterá mensagens como as seguintes:

Update on table 1 changes PK to a PK that was previously updated in the same bulk update.

  • O DMS não oferece suporte a nomes DNS personalizados ao configurar um endpoint para um cluster do Redshift, e você precisa usar o nome DNS fornecido pela Amazon. Como o cluster do Amazon Redshift deve estar no mesmoAWSconta e Região como a instância de replicação, a validação falhará se você usar um endpoint DNS personalizado.

  • O Amazon Redshift tem um tempo limite padrão de sessão ociosa de 4 horas. Quando não há nenhuma atividade na tarefa de replicação DMS, o Redshift desconecta a sessão após 4 horas. Erros podem resultar de o DMS não conseguir se conectar e potencialmente precisar reiniciar. Como solução alternativa, defina um limite de TIMEOUT DE SESSÃO maior que 4 horas para o usuário de replicação DMS. Ou consulte a descrição do ALTER USER.

AWS Schema Conversion Tool (SCT)

  • Converte o seu schema de banco de dados para uma outra
  • Exemplo OLTP : (SQL Server or Oracle) to MySQL, PostgreSQL, Aurora
  • Exemplo OLAP : (Teradata or Oracle) to Amazon Redshift
  • Você não precisa usar SCT se a migração é da mesma engine :
    • Ex: On-Premise PostgreSQL => RDS PostgreSQL A engine ainda é PostgreSQL (RDS is the platform)

Snowball

SnowCone

  • Capacidade de 8 TB de armazenamento
  • Ideal para coleta de dados e depois envio para Aws
  • Pré instalado o DataSync
  • 4GB de Memoria RAM

Snowball EDGE Compute Optimezed

  • 42 TB de armazenamento
  • 208 GB de RAM
  • Ideal para processamento Remotos, como Minas, Fabricas, Onibus.
  • Processador de GPU disponivel para machine Learning

Snowball EDGE Store Optimezed

  • Escala até 80TB
  • 80 GB de RAM

Snowmobile

  • Escala acima de 100PB

Snowball tem um tempo médio de tem tipicamente de 5 à 7 dias

AWS Application Discovery Service

O AWS Application Discovery Service ajuda você a planejar sua migração para a nuvem AWS, coletando dados de uso e configuração sobre seus servidores locais. O Application Discovery Service é integrado ao AWS Migration Hub, o que simplifica seu rastreamento de migração, pois agrega suas informações de status de migração em um único console

Tipos de Application Discovery Service :

  • Agentless discovery (Connector) : Pode ser executado implantando o AWS Agentless Discovery Connector (arquivo OVA) por meio do VMware vCenter. Depois que o Discovery Connector é configurado, ele identifica as máquinas virtuais (VMs) e os hosts associados ao vCenter, e coleta dados de configuração estática como: nomes de host de servidor, endereços IP, endereços MAC, alocações de recursos de disco. Além disso, ele coleta os dados de utilização de cada VM e calcula a utilização média e de pico para métricas como CPU, RAM e E / S de disco.

  • Agent-based discovery (Agent) : Pode ser executado implantando o AWS Application Discovery Agent em cada uma de suas VMs e servidores físicos. O instalador do agente está disponível para os sistemas operacionais Windows e Linux. Ele coleta dados de configuração estática, informações detalhadas de desempenho do sistema de série temporal, conexões de rede de entrada e saída e processos em execução.

AWS Cloud Adoption Readiness Tool (CART)

A AWS Cloud Adoption Readiness Tool (CART) ajuda organizações de todos os tamanhos a desenvolver planos eficientes e eficazes para a adoção da nuvem e migrações corporativas para a nuvem. Esta pesquisa online de 16 perguntas e relatório de avaliação detalha sua preparação para a migração para a nuvem em seis perspectivas, incluindo negócios, pessoas, processos, plataforma, operações e segurança. Depois de concluir uma pesquisa CART, você pode fornecer seus detalhes de contato para fazer o download de uma avaliação de migração para nuvem personalizada que mostra sua prontidão e o que você pode fazer para melhorá-la. Seu relatório CART inclui um mapa de calor e gráfico de radar com informações detalhadas de pontuação e recursos para ajudá-lo a melhorar sua pontuação de prontidão

OpsHub

O AWS OpsHub é uma interface gráfica do usuário que você pode usar para gerenciar seus dispositivos AWS Snowball, permitindo que você implante rapidamente cargas de trabalho de computação de ponta e simplifique a migração de dados para a nuvem. Com apenas alguns cliques no AWS OpsHub, você tem toda a funcionalidade dos dispositivos Snowball ao seu alcance; você pode desbloquear e configurar dispositivos, arrastar e soltar dados para dispositivos, iniciar aplicativos e monitorar as métricas do dispositivo. O AWS OpsHub oferece suporte aos dispositivos Snowball Edge Storage Optimized e Snowball Edge Compute Optimized.

Tipos de Migração:

Rehosting "lift and shift"

  • É apenas a migração as is da aplicação
  • Sem otimizações
  • Pode economizar mais que 30% dos custos
  • Exemplo
    • Migração usando AWS VM Import/Export ou Sever Migration Server

Replatforming

  • Não muda o core da arquitetura, mas ganha algumas otimizações de cloud
  • Exemplo:
    • Migração de Database
    • Migração de Java com Tomcat para um ElasticBeanstalk

Repurchase"drop and shop"

  • Move para um diferente produto enquanto move para cloud
  • Sempre move para um tipo de SAAS
  • Caro em um curto espaço de tempo, mas de rapido deploy
  • Exemplo
    • CRM para um Salesforce
    • CMS para um Drupal

Refactoring/Re-Archtecting

  • Reimagina como a aplicação é arquitetada de uma maneira Cloud Native
  • Entregue as necessidades de negocios e adiciona features de escalabilidade e performance
  • Exemplo
    • Mover uma aplicação para Serverless e usar o bucket S3

Retire

  • Desligar coisas que voce não precisa(talvez o resultado da Re-architecture)
  • Ajuda reduzindo areas de ataques de Hackers
  • Reduz custos, entre 10% a 20%
  • Foco no recursos que voce deve manter

Retain

  • Não tem a necessidade de fazer nada
  • Mantem a decisão de fazer a migração para a Cloud