Armazenamento - Hugo-benjamim/chatunai-app GitHub Wiki
Tipos de armazenamento
| Tipo | Explicação |
|---|---|
| S3 | Simple Storage service, são os buckets tradicionais |
| EFS | Elastic File System, para compartilhamento de arquivos entre várias instâncias |
| EBS | Elastic block system, disco das maquinas EC2 |
| Glacier | Tipo de S3 para armazenamentos a longo prazo |
| Gateway | Facilitar a troca de informações entre data centers locais e nuvem |
| Snowball | Um hd externo para transferências de dados gigantescos |
| Snowmobile | Um fodendo caminhão para transferência de dados |
| SnowBall edge | AWS portátil para navios e lugares sem acesso a internet |
Armazenamento em bloco X Armazenamento de objeto
Armazenamento de objeto: Armazena objetos inteiros, arquivos, etc. Quando altera um item altera o objeto inteiro, por exemplo não é possível fazer o upload de apenas metade de uma foto Armazenamento em bloco: Torna possível alterações parciais, por exemplo o ebs te permite ter uma imagem de um sistema operacional e você pode fazer alterações em partes dele sem precisar alterar o sistema todo. Armazenamento em blocos de memória.
Tipos detalhados
S3: Simple Storage Service, armazenamento de objetos é o mais antigo e tradicional, possuem os buckets para upload e consumo de dados. Alta durabilidade, escalabilidade, disponibilidade. Muito seguro e com baixo custo, ideal para objetos estáticos que não envolvem muitas operações o tempo todo. Pode armazenar objetos de até 5 Terabytes. Quantidade ilimitada de objetos, que são nomeados de object key que possuem link address
Glacier: Objetos, muito útil para armazenamentos a longo prazo, archiving e logs. Acesso não imediato, mas tem baixissimo custo, serve bem para backups.
EBS: Block storage, em bloco é o disco das máquinas EC2
EFS: Elastic File System, armazenamento em bloco, serve para discos compartilhados entre múltiplas instâncias, lembra aqueles servidores que acessava via FTP, baixo custo. Tem suporte para Direct Connect, ferramenta que permite o compartilhamento entre data centers e a nuvem
Storage gateway: Híbrido, permite tanto em bloco quanto de objetos, serve para fazer o meio campo entre servidores locais e a nuvem da aws, casos de data centers locais. Muitas empresas tem necessidade jurídica de manter dados dentro da empresa então os dados ficam em data centers locais e são compartilhados com as instâncias de acordo com as necessidades através do gateway
Snowball: dispositivo físico para uma transferência de dados muito grande que demoraria muito tempo para transmitir pela rede. Armazena petabytes de dados criptografados
Snowball edge: Dispositivo físico, possui armazenamento e EC2 locais para execução em ambientes sem acesso a nuvem para posterior sincronização, por exemplo embarcado em um navio
SnowMobile: É um caminhão com espaço para mais de 100 petabytes de dados para transferências absurdas de dados
S3
Conceitos importantes dos buckets que não podem deixar de ser analizados:
Classes de armazenamento
Os objetos dentro do bucket podem ter classes diferentes, que vai determinar a frequência de acesso, tempo de resposta e consequentemente o custo para o armazenamento. Baseado na frequência de acesso e tempo de recuperação podemos escolher a melhor classe de armazenamento com os custos em mente, para arquivos pouco acessados ou sem necessidade de urgência na recuperação podemos economizar. Pode ser aplicado tanto a objetos individuais quanto caminhos, pastas ou buckets inteiros.
S3 Standard: Padrão para acesso frequente e imediato, usado para sites, etc. Custo maior.
S3 Standard for infrequent access: Imediato para dados que não são acessados tão frequentemente, muito úteis para disaster recovery e backups que precisam ser rápidos mas que não acessam sempre, mais barato que o standard
One zone Infrequent access: Mesma coisa que a anterior mas com acesso apenas através de uma zona de disponibilidade, ainda mais barato, para acesso não frequente e dados não vitais
Glacier: Dados arquivados, não frequente e acesso não imediato. Bons para backups, logs, etc. Custo mais barato de todos.
Reduced Redundancy: Armazenamento sem redundância, acesso frequente e imediato, mais barato mas com risco de perda de informações. Bons para dados que podem ser novamente reproduzidos como log de ambiente de desenvolvimento
Intelligent-Tiering: Move os arquivos de standard para o infrequent devido a quantidade de acessos, seleciona de maneira inteligente para economizar os acessos aos dados
Ciclo de vida
Permite que arquivos dentro do S3 sejam gerenciados através de regras. Por exemplo trocando os objetos para glacier depois de um tempo etc.
Transition Actions permite a criação dessas regras, para gerir o que fazer com os objetos com o decorrer do tempo. Pode ser criada regra para "tempo sem acesso aos objetos" para facilitar a transição, é a forma manual de fazer o intelligent tiering
Políticas de acesso
É possível configurar políticas de acesso tanto aos buckets quanto objetos individuais, lembrar da situação da exposição do portal do design system. Pode-se versionar objetos ou pastas Cross region Replication: Quando precisamos replicar os dados de uma região para outra, o S3 não faz isso de maneira automática, útil para reduzir latência ou fazer backups Transfer Acceleration: Grandes transferências de dados entre lugares muito distantes. É um recurso da S3 que permite essa troca, passando a utilizar as edge locations para acelerar a troca, gerido pelo cloudfront para otimizar o caminho