Sistema de arquivos e armazenamento - lncc-sered/manual-sdumont2nd GitHub Wiki

Table of Contents

Filesystem e Armazenamento

O SDumont2nd não possui um HOMEDIR em sistema de armazenamento dedicado, nos moldes do SDumont (HOMEDIR -> /prj). Desse forma, tanto a variável $HOME quando a $SCRATCH apontam para a área de armazenamento do Lustre (/scratch ou /petrobr).

IMPORTANTE: Os dados armazenado no SDumont2nd NÃO POSSUEM BACKUP. Os usuários são responsáveis por manter uma copia dos seus dados.

Os arquivos podem ser copiados de e para o SDumont2nd através da Internet utilizando o comando o "scp" do SSH.

Para movimentação dos dados entre o SDumont e o SDumont2nd deverá ser utilizado o DTN (Data Transfer Node). Mais detalhes em [DTN]

O SDumont2nd possui dois sistemas de armazenamento para servir aos usuários. Um dedicado aos usuários de projetos SINAPAD (gerenciados pelo Comitê Gestor do SDumont) e outro dedicado aos projetos de parceria com a PETROBRAS.

Filesystem para projetos SINAPAD

O Filesystem Lustre utilizado como "Scratch" é implementado através do DDN EXAScaler ES400NVX2-S Híbrido NVMe+HDD, disponibilizando um espaço total de armazenamento de 3,0 PB. O sistema é capaz de fornecer mais de 40 GB/s de escrita sequencial e mais de 80 GB/s de leitura, além de 25 GB/s para escrita a partir do pool de HDD.

Filesystem para projetos PETROBRAS e ICTs

O Filesystem Lustre utilizado como "Scratch" é implementado através do DDN EXAScaler ES400NVX2-SE, disponibilizando um espaço total de armazenamento de 2,2 PB. O sistema é capaz de fornecer mais de 56 GB/s de escrita sequencial e mais de 70 GB/s de leitura sequencial.

Com 2 desses sistemas, a solução será capaz de manter mais de 100 GB/s para operações de leitura sequencial e mais de 60 GB/s para operações de escrita sequencial.

Estrutura do sistema de arquivos

Essas áreas de armazenamento devem ser utilizadas da seguinte forma:

Projetos SINAPAD PREMIUM

  • A área de SCRATCH dos projetos SINAPAD possui a seguinte estrutura: /scratch/SIGLA-DO-PROJETO
  • Essa é a área compartilhada entre todos os usuários do projeto.
  • Possui uma única quota para todo o projeto definida no momento da criação.
  • O HOMEDIR dos usuários de projetos SINAPAD possui a estrutura /scratch/SIGLA-DO-PROJETO/LOGIN.USUARIO
  • Esse é o local onde deverão armazenar os dados utilizados para processamento e as respectivas saídas.
Projetos PETROBRAS
  • A área de SCRATCH dos projetos PETROBRAS possui a seguinte estrutura: /petrobr/SIGLA-DO-PROJETO
  • Essa é a área de uso comum entre todos os usuários pertencentes á esse projeto e é onde deverão armazenar os dados utilizados para processamento e as respectivas saídas.
  • Possui uma única quota para todo o projeto definida no momento da criação.
  • O HOMEDIR dos usuários de projetos PETROBRAS possuirão a seguinte estrutura: /petrobr/home/LOGIN.USUARIO.
  • Cada usuário possui quota de 100GB.
Projetos de parceiros PETROBRAS e ICTs
  • A área de SCRATCH dos projetos PARCEIROS/ICTs possui a seguinte estrutura: /petrobr/parceirosbr/SIGLA-DO-PROJETO
  • Essa é a área de uso comum entre todos os usuários pertencentes á esse projeto e é onde deverão armazenar os dados utilizados para processamento e as respectivas saídas.
  • Possui uma única quota para todo o projeto definida no momento da criação.
  • O HOMEDIR dos usuários de projetos PARCEIROS/ICTs possuirão a seguinte estrutura: /petrobr/parceirosbr/home/LOGIN.USUARIO
  • Cada usuário possui quota de 100GB.
Início
⚠️ **GitHub.com Fallback** ⚠️