Nome FQDN: dtn.sdumont2nd.lncc.br

Internamente o servidor também responde pelo nome sdumont2nd2 e pelo ip 146.134.176.3.

Acesso: disponível através da VPN ou através dos nós de login do SDumont2nd.

Finalidade: Servidor para transferência de arquivos entre o filesystem Lustre do SDumont e o filesystem Lustre do SDumont2nd. O servidor está conectado diretamente às redes infiniband dos dois clusters.

Definições:

• PROJETO : é a sigla do projeto de pesquisa cadastrado no SDumont. A sigla do projeto é a mesma em SDumont e SDumont2nd.
• LOGIN : é o nome do usuário que acessa o SDumont, fornecido no momento de criação da conta. O nome do usuário é o mesmo em SDumont e SDumont2nd.

Os sistemas de arquivos Lustre do SDumont2nd estarão montados em /mnt/sdumont2.

O sistema de arquivos Lustre do SDumont está montado de forma idêntica ao nós de login, ou seja, em /scratch. Quando realizar o acesso SSH ao DTN o usuário estará em seu diretório $SCRATCH do SDumont.

Projetos SINAPAD PREMIUM

• Dados do projeto: /scratch/PROJETO/
• Dados do usuário: /scratch/PROJETO/LOGIN

• Dados do projeto: /petrobr/parceirosbr/PROJETO
• Dados do usuário: /petrobr/parceirosbr/PROJETO/home/LOGIN

• Dados do projeto: /petrobr/PROJETO
• Dados do usuário: /petrobr/home/LOGIN

O sistema de arquivos Lustre do SDumont2nd está montado no diretório /mnt/sdumont2 conforme divisão abaixo:

Projetos SINAPAD PREMIUM

• Dados do projeto: /mnt/sdumont2/scratch/PROJETO/
• Dados do usuário: /mnt/sdumont2/scratch/PROJETO/LOGIN

• Dados do projeto: /mnt/sdumont2/petrobr/parceirosbr/PROJETO
• Dados do usuário: /mnt/sdumont2/petrobr/parceirosbr/PROJETO/home/LOGIN

• Dados do projeto: /mnt/sdumont2/petrobr/PROJETO
• Dados do usuário: /mnt/sdumont2/scratch/petrobr/home/LOGIN

O desempenho para transferência de um único arquivo é muito superior em relação a transferir diretórios com muitos arquivos e subdiretório, podendo ser na ordem de 100x mais rápido. Sempre que possível, crie um arquivo tar do diretório de origem, não é necessário compactar, transfira o arquivo para o SDumont2nd e desempacote no destino.

IMPORTANTE

Certifique-se de que existe quota suficiente para criar o arquivo tar antes de iniciar o comando. Siga os passos abaixo para verificar a quota do seu projeto:

 Quota do projeto no Lustre do SDumont:
 $ lfs quota -hg PROJETO /scratch
 Disk quotas for grp PROJETO (gid NNN):
     Filesystem    used   quota   limit   grace   files   quota   limit   grace
      /scratch/    36.45G    0k   1.50T       -      81       0       0       -
 
 Quota do projeto no Lustre do SDumont2nd:
 $ lfs quota -hg PROJETO /mnt/sdumont2/scratch
 Disk quotas for grp PROJETO (gid NNN):
     Filesystem               used   quota   limit   grace   files   quota   limit   grace
      /mnt/sdumont2/scratch/   68k      0k   1.50T       -      10       0       0       -

No exemplo acima existe ~1,1T de espaço disponível em /scratch para gerar o arquivo tar e também existe espaço suficiente no storage do SDumont2nd para transferir o e extrair o arquivo.

Exemplo de criação do arquivo tar:

 $ tar cf meu-arquivo.tar  /path/para/diretorio 

Para realizar a cópia de arquivos utilize o comando cp -av e para cópia de diretórios utilize o comando cp -arv.

Os exemplos abaixo demonstram a cópia arquivo dados-sd1.tar do SDumont para o SDumont2nd no contexto dos tipos de projetos existentes.

Projetos LNCC

 $ cp -av /scratch/PROJETO/LOGIN/dados-sd1.tar  /mnt/sdumont2/scratch/PROJETO/LOGIN 

Projetos de ICTs

 $ cp -av /petrobr/parceirosbr/PROJETO/home/LOGIN/dados-sd1   /mnt/sdumont2/petrobr/parceirosbr/PROJETO/home/LOGIN 

Projetos Petrobras

 $ cp -av /petrobr/home/LOGIN/dados-sd1   /mnt/sdumont2/petrobr/home/LOGIN

No momento, não é recomendado utilizar o comando rsync, pois este apresentou baixo desempenho. Recomendamos que a cópia seja realizada através do cp.

Cannot send after transport endpoint shutdown: Pode aparecer ao copiar grandes volumes de dados (muitos arquivos/diretórios). Recomendamos que seja copiado apenas o necessário e diretórios ou arquivos específicos por vez.