File Storage Guide - cloud-barista/cb-spider GitHub Wiki

1. CB-Spider File Storage 개요

• CB-Spider는 연동 대상 클라우드(CSP)가 제공하는 File Storage(AWS EFS, Azure Files, GCP Filestore 등)를

  • 동일한 인터페이스를 사용하여 제어할 수 있는 File Storage 제어 기능을 제공한다.

• CB-Spider가 제공하는 File Storage 제공 형상은 아래 그림과 같고, 세부 내용은 다음과 같다.

  • CB-Spider File Storage는 파일을 저장 관리하는 File System과 File System에 접근 할 수 있는 Mount Target으로 구성된다.
  • 사용자는 File System 생성 요청시에 생성된 File System에 접근할 수 있는 AccessSubnet을 설정할 수 있다.
  • AccessSubnet는 File System과 동일한 VPC 내부에 생성된 Subnet으로 한정되며, File System 생성 후에도 추가/삭제가 가능하다.
  • 생성된 File System은 AccessSubnet에 존재하는 모든 VM에서 접근 및 활용 가능하다.
  • CB-Spider는 각 CSP의 File System 제공 형상에 따라 AccessSubnet 목록에 한개 이상의 Mount Target을 자동 생성 관리한다.
  • CB-Spider를 통한 File Storage 활용 방법은 다음과 같다.
    • (1) Create File System: File System을 생성한다.
      • File System을 생성 요청하면, File System과 AccessSubnet 목록에 한개 이상의 Mount Target이 함께 생성된다.
      • Mount Target은 생성된 파일 시스템을 AccessSubnet에 존재하는 VM에서 Mount할 수 있는 연결 포인트를 제공하며,
      • Mount Target은 NFS 프로토콜 버전3 또는 버전4 Mount를 지원하며, NFS 제공 버전 종류는 CSP마다 차이가 있다.
      • ※ 현재 Spider는 SMB 프로토콜은 미제공
    • (2) Mount File System: 생성된 File System에 Mount 및 활용 한다.
      • 생성된 File System의 Mount Target 정보 및 Mount 실행 정보 등은 CB-Spider API를 통해서 제공되며,
      • 제공되는 Mount 정보를 이용하여 생성된 File System에 Mount하여 파일을 저장 및 관리할 수 있다.
      • 이때 제공되는 Mount Target 정보 형식 및 관련 정보는 대상 CSP별로 다를 수 있다.

2. CB-Spider File Storage: File System 설정 방법

• File Storage는 CSP에 따라 서로 다른 복잡한 생성 옵션(access control, performance 설정 등)들을 제공한다.

• CB-Spider는 다음과 같이 Basic Setup(기본 설정) 또는 Advanced Setup(고급 설정) 방법으로 File System 생성을 요청할 수 있다.

  • 1. Basic Setup(Common)
    • 추상화된 공통 옵션을 사용하여 동일한 방법으로 File System을 생성 요청할 수 있다.
    • 설정되지 않는 나머지 복잡한 옵션은 각 CSP의 Default 값으로 설정된다.
  • 2. Advanced Setup(CSP-Specific)
    • CSP별로 특화된 설정으로 File System을 생성 요청할 수 있다.
    • CSP별로 서로 다른 설정 옵션을 제공하기 위해서 표준화된 Meta API를 제공한다.

• 사용자는 다음과 같은 흐름으로 Meta API를 사용하여 CSP에 특화된 File System 배포가 가능하다.

  • (1) 대상 CSP의 설정 기능 제공 여부를 확인한다.
  • (2) 대상 CSP의 설정 가능한 옵션 정보를 얻는다.
  • (3) 대상 CSP에 특화된 옵션 설정으로 File System을 생성 요청한다.

3. CB-Spider File Storage: Region Type 및 Zone Type 설정

• File Storage는 Region에 File System을 배포하는 Region Type과 Zone에 배포하는 Zone Type을 선택 가능하며,

  • CSP에 따라 Region Type과 Zone Type 둘 다 설정 가능하거나, 둘 중 한가지 Type만 설정 가능할 수도 있다.

• CB-Spider File Storage는 다음과 같이 Basic Setup(기본 설정) 또는 Advanced Setup(고급 설정) 방법으로 File System Type 설정을 지원한다.

  • 1. Basic Setup(Common)
    • 사용자는 별도의 Region Type 또는 Zone Type을 설정하지 않으며,
    • Spider는 각 CSP의 Default Type 설정으로 File System을 생성 및 제공한다.
    • 단, 생성된 File System의 Type 종류에 따라 File System에 접근 가능한 VM의 범위가
      • 동일 VPC(Region Type) 또는 동일 Zone(Zone Type)으로 한정된다.
  • 2. Advanced Setup(CSP-Specific)
    • CB-Spider 제공 Type은 그림에서 보는 바와 같이, Region Type과 Zone Type으로 구분된다.
      • Region Type: Region 내 File System과 동일 VPC의 Access Subnet들에 포함된 VM에서 Mount Target을 Mount하여 접근 가능하다.
      • Zone Type: 동일한 Zone의 Access Subnet들에 포함된 VM에서 Mount Target을 Mount하여 접근 가능하다.
    • Region Type은 다시 VPC-based Shared File Storage와 Zone-based Shared File Storage로 구분된다.
      • VPC-based Shared File Storage: VPC 내에 하나의 Mount Target을 공유한다.
      • Zone-based Shared File Storage: VPC 내에 Zone 당 하나의 Mount Target을 공유한다.
    • 사용자는 Meta API를 활용하여 대상 CSP가 제공하는 File Storage Type 종류를 확인할 수 있으며,
  • Meta API 제공 정보
    • 대상 CSP가 제공하는 File Storage Type 정보 등

4. CB-Spider File Storage: Access Control 개요

• File Storage는 CSP에 따라 서로 다른 복잡한 Access Control 방법 및 옵션들을 제공한다.

• CB-Spider File Storage는 별도의 Access Control 설정을 제공하지 않는다.

• CB-Spider는 다음 그림과 같이,

  • (1) 영역과 같이 File System과 동일 VPC 내의 자원(VM 등)은 모두 접근 가능하며,
  • (2),(3) 영역과 같이 VPC 외부에서는 접근이 불가능하다.
  • ※ File System이 배포된 VPC의 외부로부터 접근이 필요한 경우: 사용자는 각 CSP가 제공하는 방법으로 VPC Peering, VPN 등의 별도 설정 필요

5. CB-Spider File Storage: Capacity 설정

• File Storage는 CSP에 따라 사용자가 File System 용량(최대 Size)을 설정하지 않고 자동 관리해주거나,

• 사용자가 활용하고자 하는 최대 Size를 설정해야 할 수 있다.

  • 이 경우 CSP별, File System 타입 별로 설정 가능한 Size 범위가 다르다.

• CB-Spider File Storage는 다음과 같이 Basic Setup(기본 설정) 또는 Advanced Setup(고급 설정) 방법으로 File System 용량 설정을 지원한다.

  • 1. Basic Setup(Common)
    • 사용자는 별도의 용량 옵션을 설정하지 않으며,
    • Spider는 각 CSP의 Default Size 설정으로 File System을 생성 및 제공한다.
  • 2. Advanced Setup(CSP-Specific)
    • 사용자는 Meta API를 활용하여 용량 설정이 가능한 CSP를 확인할 수 있으며,
    • Meta API를 활용하여 대상 CSP에서 제공하는 Size 범위 옵션을 획득하여 CSP에 특화된 최대 Size 설정이 가능하다.
  • Meta API 제공 정보
    • 대상 CSP의 Size 설정 제공 여부
    • 대상 CSP의 설정 가능한 Size 범위 정보 등

6. CB-Spider File Storage: Performance 설정

• File Storage는 CSP에 따라 File System 성능 설정을 제공하지 않거나,

• Bandwidth, Throughput 등과 같은 성능 속성에 대한 설정을 제공할 수 있다.

• CB-Spider File Storage는 다음과 같이 Basic Setup(기본 설정) 또는 Advanced Setup(고급 설정) 방법으로 File System 성능 옵션 설정을 지원한다.

  • 1. Basic Setup(Common)
    • 사용자는 별도의 성능 옵션을 설정하지 않으며,
    • Spider는 각 CSP의 Default 성능 설정으로 File System을 생성 및 제공한다.
  • 2. Advanced Setup(CSP-Specific)
    • 사용자는 Meta API를 활용하여 성능 설정이 가능한 CSP를 확인할 수 있으며,
    • Meta API를 활용하여 대상 CSP에서 제공하는 성능 옵션을 획득하여 CSP에 특화된 성능 옵션 설정이 가능하다.
  • Meta API 제공 정보
    • 대상 CSP의 성능 설정 제공 여부
    • 대상 CSP가 제공하는 성능 옵션 정보 등

7. CB-Spider File Storage: Encryption 설정

• File Storage의 암호화(Encryption)는 아래 그림과 같이

  • (1) 네트워크 암호화(Encryption in transit)와
  • (2) 데이터 암호화(Encryption at rest)로 구분할 수 있으며,

• CB-Spider File System 암호화 설정은 (1), (2) 구분 없이 암호화 여부 설정 만을 제공한다.

  • CSP 지원 여부에 따라, (1)+(2) 암호화 또는 (2) 암호화만 제공될 수 있다.

8. CB-Spider File Storage: Backup 설정/실행

• File System은 백업은 아래 그림과 같이

  • (1) File System 생성시 또는 운영시 Scheduled Backup 설정과
  • (2) File System 운영시 현재 시점의 On-demand Backup 실행이 가능하다.

• Scheduled Backup 설정의 경우 Default 백업 주기는 매일 새벽 5시이며, Cron 형식의 백업 주기 설정이 가능하다.

• ※ 참고: Restore는 추후 제공 고려, 사용자는 필요 시점에 대상 CSP 콘솔 활용

• ※ 참고: 현재 Azure는 NFS 지원 File System의 경우 백업을 제공하지 않음

9. CB-Spider File Storage: Replication 설정/실행 - TBD

• ※ CB-Spider 현재 버전에서는 제공하지 않으며, 추후 제공 여부 고려