Provider Managed Kubernetes and Driver API - cloud-barista/cb-spider GitHub Wiki

- CB-Spider PMKS(Provider Managed Kubernetes) Specification V0.6

• 검토의견: https://github.com/cloud-barista/cb-spider/issues/716
• 제공현황: PMKS 개발 및 이슈 현황

• CB-Spider는 연동 대상 클라우드(CSP)가 제공하는 관리형 Kubernetes(Provider Managed K8S 또는 Managed K8S)를
  • 동일한 인터페이스를 사용하여 제어할 수 있는 Cluster(Kubernetes Cluster 또는 PMKS Cluster) 제어 기능을 제공한다.
• K8S가 필요한 CB-Spider 사용자(인프라 관리자 또는 서비스 개발자)는 아래 그림과 같이,
  • ① CB-Spider 인터페이스를 활용하여 동일한 방법으로
    • 원하는 대상 클라우드에 K8S 인스턴스 생성을 요청할 수 있다.
  • ② 사용자의 요청은 Spider의 대상 연동 드라이버를 통해서
    • 대상 클라우드의 API를 호출하여 대상 클라우드의 관리형 K8S 인스턴스가 생성된다.
  • ③ 사용자는 생성된 K8S에 대하여 K8S CLI(kubectl) 또는 API 등의 풍부한 K8S 인터페이스를 사용하여
    • 사용자의 워크로드를 배포 및 관리할 수 있다.
    • 또한, Lens 및 Kubesphere와 같은 K8S IDE에 연동하여 생성된 K8S의 기능을 편리하게 활용할 수도 있다.

[CB-Spider PMKS Overview]

• 사용자에 의해 생성된 하나의 PMKS 인스턴스는 아래 그림에서 보는 바와 같이 Cluster라고 한다.
• Cluster는 크게 Control plane, Node Group, Addons 및 Endpoint로 구성된다.

[CB-Spider PMKS Components]

• 컴포넌트별 세부 내용은 다음과 같다.

  (1) 컨트롤 플레인(Control Plane)

  - 컨트롤 플레인은 Cluster의 전체 동작 및 실행을 관장하는 마스터로서의 역할을 담당하는 컴포넌트들의 모임이며, 
  - 관리형 K8S의 경우에는 컨트롤 플레인의 관리 주체는 CSP의 Cloud 플랫폼(CloudOS)이며,
  - CSP 사용자(=CB-Spider 사용자)는 상태 확인 및 제어를 할 수 없다.
  - 참고로, Control plane은 kube-apiserver, etcd, kube-scheduler 및 kube-controller-manager, Cloud Controller Manager 등으로 구성된다. 
  

  (2) 노드 그룹(Node Group)

  - 하나의 노드 그룹은 동일한 이미지와 규격으로 생성된 VM들로 구성되며, 
  - 하나의 Cluster는 서로 다른 종류의 여러 개의 노드 그룹을 포함할 수 있다. 
  - 이와 같은 이질적인 노드 그룹 구성을 통하여 하나의 Cluster에서 다양한 종류의 워크로드의 실행 설정이 가능하다. 
  - 참고로, Node(=VM)은 컨트롤 플레인과의 협업 및 실제 Pod의 실행 처리 등을 위하여 kubelet, kube-proxy 및 Container runtime 등을 포함한다. 
  

  (3) 에드온(Addons)

  - 에드온은 CNI, DNS 및 Container Resource Monitoring 등으로 
  - Cluster 수준의 기능을 제공하는 컴포넌트다.
  - 다양한 에드온들이 존재하며, 선택적으로 구성하여 활용할 수 있다. 
  

  (4) 엔드포인트(Endpoint)

  - 외부에서 Cluster에 접근할 수 있는 URL을 제공한다.
  

• Cluster 생성과 NodeGroup 추가 순서에 따라 다음과 같이 2가지 타입으로 구분된다.

• (1) Type-I: Cluster 생성 후 NodeGroup 별도 추가/삭제

  • 대상 CSP: AWS, Alibaba, Tencent 등

• (2) Type-II: 최초 Cluster 생성시 최소 1개 이상의 NodeGroup을 함께 생성 이후 NodeGroup 추가/삭제 가능

  • 대상 CSP: Azure, GCP, IBM, NHN 등

• 참고: CSP별 특징 및 제약 사항은 다음 참고
  • https://docs.google.com/spreadsheets/d/1mPmfnfmyszYimVzplZMzsqO3WsBmOdes/edit#gid=1299745060
  • 참고: 노드 그룹 OS로 선택 가능한 이미지 목록

    • AWS: NodeGroup 생성시 Image 설정 임시 가이드(Ref: PR 1651)

      • (1) 설정하지 않음: Default AMI Type(AL2023_x86_64_STANDARD)으로 자동 설정 ------- non GPU시 추천
      • (2) Public AMI 중 AMI Type로 맵핑 가능한 Image 설정(임시) ------------------------- GPU 환경시 임시 추천

        • Warn log 출력 후 EKS-optimized AMI로 자동 변경/배포

        • 현재 맵핑 AMI Type 목록(static list)

          AMI Type List

          • AL2023_x86_64_STANDARD
          • AL2023_ARM_64_STANDARD
          • BOTTLEROCKET_ARM_64
          • BOTTLEROCKET_x86_64
          • BOTTLEROCKET_ARM_64_NVIDIA
          • BOTTLEROCKET_x86_64_NVIDIA
          • WINDOWS_CORE_2019_x86_64
          • WINDOWS_FULL_2019_x86_64
          • WINDOWS_CORE_2022_x86_64
          • WINDOWS_FULL_2022_x86_64

    • Tencent: 다음 목록에서 OS Name을 ImageId로 설정

      • https://www.tencentcloud.com/document/product/457/46750

• 제공 기능: Cluster 생성/삭제, NodeGroup 추가/삭제, Kubeconfig 제공 및 OpenLens 연동(=kubectl 활용 가능)
• 검증 필요 기능: AutoScaling 설정 변경, Upgrade (전체 또는 일부 CSP 지원, 전체 검증 필요한 기능)
• 추후 제공 고려: Addons(구현 안됨)

• (1) CSP별 Version, VMSpec 등의 입력 설정 값은 AdminWeb 초기 설정 값으로 Cluster 및 NodeGroup 생성
  • ※ Notices: AdminWeb의 CSP별 Kubernetes Version 및 Image 정보 등은 CSP에서 Deprecated 될 수 있으며, 이 경우 수정 필요
• (2) 생성된 Cluster의 Kubeconfig 정보를 OpenLens에 등록 후 연동/Pod 배포 등 확인
  • Cluster 연동 및 Pod 배포 시험 가이드: 다음 영상 중 해당 부분 참고
  • OpenLens 연동 설정 특이 사항: 일부 CSP의 경우 외부에서 Cluster 접근시 다음과 같은 추가 설정 필요

    ※ GCP Note: OpenLens, kubectl 등에서 Kubeconfig 활용한 외부 접근 시 설정 방법 참고
       - gcloud 및 gke-gcloud-auth-plugin 사전 설치 필요
       - OpenLens 설치 이후 설치 시에는 System Reboot 필요
    

• Swagger UI: Cluster Management 참고
• ※ CSP별 Custer 생성 및 NodeGroup 생성 시 필요 인자는 AdminWeb 관련 default 설정 값 참고

• PMKS Driver API는 Async 호출 방식으로 제공

  • 예시) CSP Create API 호출 후 Running 상태 기다림 없이 Driver API도 반환

• Zonal vs Regional 관련 선택 옵션 제공하는 경우

  • 현재는 Zonal로 설정, Zone 값은 Connection에서 획득 후 적용

• Cluster 생성과 NodeGroup 추가 관련

  • Type-I: Cluster 생성 후 NodeGroup 별도 추가/삭제
    • 대상 CSP: AWS, Alibaba, Tencent 등
  • Type-II: 최초 Cluster 생성시 최소 1개 이상의 NodeGroup을 함께 생성
    • 이후 NodeGroup 추가/삭제 가능
    • 대상 CSP: Azure, GCP, IBM, NHN 등

• Version 관련

  • 1.21(AWS), 1.21.6-gke.1500(GCP), v1.23.3(NHN) 등 CSP별로 차이가 있음
  • Driver는 "" 또는 "default"를 수신하면, CSP가 default 버전으로 생성하는 처리 지원하면 default 생성 처리,
    • 제공하지 않는 경우는 현 시점의 대상 CSP Web Console 기준 default 값으로 생성
    • 제공하지 않는 경우 제공하는 버전 목록을 포함한 에러 메시지를 반환
  • 버전 값을 입력 받으면 -현재: 1.23.3 형식으로 입력 받음, driver에서는 1.23.3 정보에서 유효한 정보를 파싱 후 활용,
    • 그 외 정보는 CSP의 default에 가까운 값으로 설정
  • GCP: Region별 제공 버전이 다름
    • 2022/12/08: 일단, default("" or "default")만 제공

• PMKS는 VPC 의존적이다. 즉, 특정 VPC에 소속되는 관리형 K8S를 생성 및 구성할 수 있다.

• 사용자는 PMKS 생성 요청 전에 필요한 VPC/Subnet 및 Security Group을 적절하게 생성 하여 인자로 함께 호출함을 가정한다.

  • AWS의 경우 다음 이름으로 Role 설정이 필요하여, 존재하지 않을 경우 자동 생성한다.
    • Cluster: cloud-barista-eks-cluster-role
      • 허용 권한: AmazonEKSClusterPolicy
    • NodeGroup: cloud-barista-eks-nodegroup-role
      • 허용 권한: AmazonEKSWorkerNodePolicy, AmazonEC2ContainerRegistryPullOnly, AmazonEKSWorkerNodePolicy, AmazonEKS_CNI_Policy, AmazonEBSCSIDriverPolicy
  • 추가로 사전 생성이 필요한 자원이 있는 CSP는 상단 링크의 이슈에 현황을 공유 부탁드립니다.

• IP Address Family의 경우 Driver 내부에서 IPv4로 설정한다. (IPv6 필요시 추후 고려)

• 공통 API에서 제공되지 않는 설정일 경우는 상단 링크의 이슈에 현황을 공유하고,

  • Driver 내에서 기본 값(최신 버전 등 가급적 CSP의 default 값 활용)으로 설정 처리해 주시기 바랍니다. (추후 개선)
  • 예시) AWS에서 kube-proxy version 값 등

• NodeGroup의 Node(VM) 제공 정보 범위

  • IID(SystemId만 포함) 목록만 반환

• Cluster Access 정보 제공

  • Endpoint URL 제공
  • Kubeconfig 정보 제공

• Addons 설정 관련: cni, dns 등 설정 API 존재시 이슈 공유 및 현재는 default 설정, 추후 재고려

• Upgrade Cluster: Cluster Version을 업그레이드한다.

• PMKS는 주로 공통 API를 이용한 Cluster 관리 중심의 제어 기능을 제공하며,

  • 사용자는 Addon 설치/관리, Workload deploy 및 모니터링이나 Taint, Tag, Label 설정 등과 같은
  • K8S 활용 자체는 K8S kubectl과 K8S 인터페이스 또는 Lens와 같은 Third party 지원 도구를 활용한다.

• Tag, Key-Value 기록 규칙

  • CSP가 제공하지 않는 정보 기록이 필요하여,
  • Tagging이나 Description에 기록이 필요한 경우
  • 가급적 다음 규칙을 따른다.
    • #CB-SPIDER:PMKS:SECURITYGROUP:sg-01
    • 참고: https://github.com/cloud-barista/cb-spider/blob/cea4014f20da0c793537c9e03469ffc8fd080190/cloud-control-manager/cloud-driver/drivers/tencent/resources/ClusterHandler.go#L400

• 볼륨의 동적 프로비저닝 (현황)

  • GCP, Azure: 기본 StorageClass를 제공하고 있으므로 바로 PVC 생성 가능
  • AWS: 적절한 StorageClass를 제공하고 있지 않으므로, 기본 StorageClass를 등록(ebs-sc.yaml)하면 가능
  • NHN: 적절한 StorageClass를 제공하고 있지 않으므로, 기본 StorageClass를 등록(cinder-sc.yaml)하면 가능
  • Alibaba: StorageClass를 제공하므로 PVC 생성시 명시하고 20GB 이상 지정 필요
  • Tencent: 기본 StorageClass를 제공하므로 바로 PVC 생성 가능하나 10GB 이상 지정 필요

• 그 외에 대상 CSP Driver 개발시 부족한 부분이 있으시면 이슈에 공유 부탁 드립니다.

• Source Tree

  $tree cb-spider/cloud-control-manager/cloud-driver/interfaces/
  cb-spider/cloud-control-manager/cloud-driver/interfaces/
  |-- CloudDriver.go
  |-- README.md
  |-- connect
  |   `-- CloudConnect.go
  `-- resources
      |-- AnyCallHandler.go
      |-- ClusterHandler.go  <======================= PMKS Driver API
      |-- DiskHandler.go
      |-- IId.go
      |-- ImageHandler.go
      |-- KeyPairHandler.go
      |-- KeyValue.go
      |-- MyImageHandler.go
      |-- NLBHandler.go
      |-- SecurityHandler.go
      |-- VMHandler.go
      |-- VMSpecHandler.go
      `-- VPCHandler.go
  

• Driver API Spec (latest)

  package resources
  
  import "time"
  
  // -------- Const
  type ClusterStatus string
  
  const (
  	ClusterCreating ClusterStatus = "Creating"
  	ClusterActive   ClusterStatus = "Active"
  	ClusterInactive ClusterStatus = "Inactive"
  	ClusterUpdating ClusterStatus = "Updating"
  	ClusterDeleting ClusterStatus = "Deleting"
  )
  
  type NodeGroupStatus string
  
  const (
  	NodeGroupCreating NodeGroupStatus = "Creating"
  	NodeGroupActive   NodeGroupStatus = "Active"
  	NodeGroupInactive NodeGroupStatus = "Inactive"
  	NodeGroupUpdating NodeGroupStatus = "Updating"
  	NodeGroupDeleting NodeGroupStatus = "Deleting"
  )
  
  // -------- Info Structure
  type ClusterInfo struct {
  	IId IID // {NameId, SystemId}
  
  	Version string // Kubernetes Version, ex) 1.23.3
  	Network       NetworkInfo
  
  	// ---
  
  	NodeGroupList []NodeGroupInfo
  	AccessInfo    AccessInfo
  	Addons        AddonsInfo
  
  	Status        ClusterStatus
  
  	CreatedTime  time.Time
  	KeyValueList []KeyValue
  }
  
  type NetworkInfo struct {
  	VpcIID            IID // {NameId, SystemId}
  	SubnetIIDs        []IID
  	SecurityGroupIIDs []IID
  
  	// ---
  
  	KeyValueList []KeyValue
  }
  
  type NodeGroupInfo struct {
  	IId IID // {NameId, SystemId}
  
  	// VM config.
  	ImageIID     IID
  	VMSpecName   string
  	RootDiskType string // "SSD(gp2)", "Premium SSD", ...
  	RootDiskSize string // "", "default", "50", "1000" (GB)
  	KeyPairIID   IID
  
  	// Scaling config.
  	OnAutoScaling   bool // default: true
  	DesiredNodeSize int
  	MinNodeSize     int
  	MaxNodeSize     int
  
  	// ---
  
  	Status       NodeGroupStatus
  	Nodes        []IID
  
  	KeyValueList []KeyValue
  }
  
  type AccessInfo struct {
  	Endpoint 	string // ex) https://1.2.3.4:6443
  	Kubeconfig	string
  }
  
  // CNI, DNS, .... @todo
  type AddonsInfo struct {
  	KeyValueList []KeyValue
  }
  
  // -------- Cluster API
  type ClusterHandler interface {
  
  	//------ Cluster Management
  	CreateCluster(clusterReqInfo ClusterInfo) (ClusterInfo, error)
  	ListCluster() ([]*ClusterInfo, error)
  	GetCluster(clusterIID IID) (ClusterInfo, error)
  	DeleteCluster(clusterIID IID) (bool, error)
  
  	//------ NodeGroup Management
  	AddNodeGroup(clusterIID IID, nodeGroupReqInfo NodeGroupInfo) (NodeGroupInfo, error)
  	SetNodeGroupAutoScaling(clusterIID IID, nodeGroupIID IID, on bool) (bool, error)
  	ChangeNodeGroupScaling(clusterIID IID, nodeGroupIID IID,
  		DesiredNodeSize int, MinNodeSize int, MaxNodeSize int) (NodeGroupInfo, error)
  	RemoveNodeGroup(clusterIID IID, nodeGroupIID IID) (bool, error)
  
  	//------ Upgrade K8S
  	UpgradeCluster(clusterIID IID, newVersion string) (ClusterInfo, error)
  }

- V0.5 => V0.6
  - CB-Spider Cluster 제공 현황 추가
- V0.4 => V0.5
  - ClusterInfo.AccessInfo 추가
- V0.3 => V0.4
  - 불필요 API 삭제 (#794)
  - 삭제 API: ListNodeGroup(), GetNodeGroup()
- V0.2 => V0.3
  - Attribute Naming 규칙 반영 (#786)
    - SubnetIID => SubnetIIDs
    - NodeList => Nodes
- V0.1 => V0.2
  - Cluster 생성시 default NodeGroup 동시 생성
  - 독립적이던 NodeGroup 생성 및 관리를 특정 Cluster 하에서 관리
  - NodeGroup Size 관리를 Autoscaling 방법으로만 제공
  - NodeGroupHandler를 ClusterHandler 안으로 통합
  - NodeGroup.Status 추가
  - NodeGroup AutoScaling On/Off 설정 API 추가

• Version 0.5
• Version 0.4
• Version 0.3
• Version 0.2
• Version 0.1