Sistema de arquivos e armazenamento - lncc-sered/manual-sdumont2nd GitHub Wiki
O SDumont2nd não possui um HOMEDIR em sistema de armazenamento dedicado, nos moldes do SDumont (HOMEDIR -> /prj). Desse forma, tanto a variável $HOME quando a $SCRATCH apontam para a área de armazenamento do Lustre (/scratch ou /petrobr).
IMPORTANTE: Os dados armazenado no SDumont2nd NÃO POSSUEM BACKUP. Os usuários são responsáveis por manter uma copia dos seus dados.
Os arquivos podem ser copiados de e para o SDumont2nd através da Internet utilizando o comando o "scp" do SSH.
Para movimentação dos dados entre o SDumont e o SDumont2nd deverá ser utilizado o DTN (Data Transfer Node). Mais detalhes em [DTN]
O SDumont2nd possui dois sistemas de armazenamento para servir aos usuários. Um dedicado aos usuários de projetos SINAPAD (gerenciados pelo Comitê Gestor do SDumont) e outro dedicado aos projetos de parceria com a PETROBRAS.
O Filesystem Lustre utilizado como "Scratch" é implementado através do DDN EXAScaler ES400NVX2-S Híbrido NVMe+HDD, disponibilizando um espaço total de armazenamento de 3,0 PB. O sistema é capaz de fornecer mais de 40 GB/s de escrita sequencial e mais de 80 GB/s de leitura, além de 25 GB/s para escrita a partir do pool de HDD.
O Filesystem Lustre utilizado como "Scratch" é implementado através do DDN EXAScaler ES400NVX2-SE, disponibilizando um espaço total de armazenamento de 2,2 PB. O sistema é capaz de fornecer mais de 56 GB/s de escrita sequencial e mais de 70 GB/s de leitura sequencial.
Com 2 desses sistemas, a solução será capaz de manter mais de 100 GB/s para operações de leitura sequencial e mais de 60 GB/s para operações de escrita sequencial.
Essas áreas de armazenamento devem ser utilizadas da seguinte forma:
Projetos SINAPAD PREMIUM
- A área de SCRATCH dos projetos SINAPAD possui a seguinte estrutura: /scratch/SIGLA-DO-PROJETO
- Essa é a área compartilhada entre todos os usuários do projeto.
- Possui uma única quota para todo o projeto definida no momento da criação.
- O HOMEDIR dos usuários de projetos SINAPAD possui a estrutura /scratch/SIGLA-DO-PROJETO/LOGIN.USUARIO
- Esse é o local onde deverão armazenar os dados utilizados para processamento e as respectivas saídas.
- A área de SCRATCH dos projetos PETROBRAS possui a seguinte estrutura: /petrobr/SIGLA-DO-PROJETO
- Essa é a área de uso comum entre todos os usuários pertencentes á esse projeto e é onde deverão armazenar os dados utilizados para processamento e as respectivas saídas.
- Possui uma única quota para todo o projeto definida no momento da criação.
- O HOMEDIR dos usuários de projetos PETROBRAS possuirão a seguinte estrutura: /petrobr/home/LOGIN.USUARIO.
- Cada usuário possui quota de 100GB.
- A área de SCRATCH dos projetos PARCEIROS/ICTs possui a seguinte estrutura: /petrobr/parceirosbr/SIGLA-DO-PROJETO
- Essa é a área de uso comum entre todos os usuários pertencentes á esse projeto e é onde deverão armazenar os dados utilizados para processamento e as respectivas saídas.
- Possui uma única quota para todo o projeto definida no momento da criação.
- O HOMEDIR dos usuários de projetos PARCEIROS/ICTs possuirão a seguinte estrutura: /petrobr/parceirosbr/home/LOGIN.USUARIO
- Cada usuário possui quota de 100GB.