Network Load Balancer and Driver API - cloud-barista/cb-spider GitHub Wiki

CB-Spider Network Load Balancer and Driver API

- CB-Spider Network Load Balancer(NLB) Specification V0.6

검토의견: https://github.com/cloud-barista/cb-spider/issues/587
분석참고: CSP별 NLB 이슈 현황 및 시험 결과 등

1. CB-Spider NLB Overview

사용자는 VPC 내의 VM을 향한 외부의 Client 요청 및 입력 스트림에 대한 부하 분산(Load Balancing)을 관리하기 위해서
- 그림과 같이 특정 VPC에 소속되는 Network Load Balancer(이하 NLB)를 생성 및 구성할 수 있다.
NLB는 Public 타입과 Internal 타입을 선택하여 생성할 수 있다.
- Public 타입(default): 외부 인터넷을 통한 사용자의 클라이언트 스트림에 대한 부하 분산
- Internal 타입: 내부 VM 간의 스트림에 대한 부하 분산
- Public 타입 제공 중심으로 선개발 및 우선 활용
NLB는 Region 범위와 Global 범위의 운영을 선택하여 생성할 수 있다.
- Regional NLB(default): 단일 Region에서 운영되는 로드 밸런서
- Global NLB: 멀티 Region에서 운영되는 로드 밸런서
- Regional NLB 제공 중심으로 선개발 및 우선 활용

2. CB-Spider NLB Components

NLB는 그림과 같이 프론트엔드(Frontend) 영역과 백엔드(Backend) 영역으로 구분되며, 영역별 주요 구성 요소는 다음과 같다.
- [NLB-Frontend Tier]
  
  (1) 프론트엔드 리스너(Frontend Listener)
  - 리스너는 Client의 요청 및 입력 스트림을 수신하여 백엔드 영역의 VM그룹으로 전달한다.
  - 하나의 NLB는 하나의 리스너를 포함하며, 수신 프로토콜, IP 및 수신 포트로 구성된다.
  - 선택 가능한 수신 프로토콜은 TCP 및 UDP이며, IP는 CSP 또는 대상 Driver에서 자동 생성 및 관리된다.
  - 수신 포트는 1-65535 범위의 값으로 설정이 가능하다.
  - ※ 리스너 IP와 DNS-Name: 둘다 제공하거나 둘중 하나만 제공할 수 있음
- [NLB-Backend Tier]
  
  (2) 백엔드 VM 그룹(Backend VM Group)
  - VM 그룹은 동일한 서비스(nginx, redis, 사용자 개발 서비스 등)를 제공하는 VM들의 집합이며, VM은 등록 또는 제외가 가능하다.
  - VM 그룹에 포함될 수 있는 VM은 NLB와 동일한 VPC에 속해 있는 VM들로 한정된다.
  - 하나의 NLB는 하나의 VM 그룹을 포함하며, VM 그룹은 수신 프로토콜, 수신 포트 및 VM들로 구성된다.
  - 선택 가능한 수신 프로토콜은 TCP, UDP이며,
  - VM 그룹은 하나의 수신 포트를 설정할 수 있다. (포트범위: 1-65535)
  - VM 그룹 내의 VM들은 VM 그룹 설정과 동일한 프로토콜 및 포트 번호를 통해서 서비스 제공이 가능하다.
  (3) 헬스 체크기(Health Checker)
  - 하나의 NLB는 하나의 헬스 체크기를 포함한다.
  - 선택 가능한 체크 프로토콜은 TCP 및 HTTP이며,
  - VM 그룹에 소속된 VM들의 헬스 상태를 체크하기 위해서 VM 그룹과 동일한 포트를 활용하거나
  - 별도의 헬스 체크 전용 포트(그림에서 Port 81)를 별도로 설정할 수 있다.
  - 각 VM의 서비스 포트 및 헬스 체크용 포트 용도의 서비스 데몬은 사용자에 의해 준비되어야 한다.
  - 헬스 체크기는 상태 체크 주기 및 타임 아웃 등을 설정할 수 있으며,
  - VM 그룹에 소속된 VM들의 헬스 상태 정보를 제공한다. (Healthy VM 목록, Unhealthy VM 목록)
  ※ 서비스 그룹 오토 스케일링(Service Group Auto-Scaling)
  - 오토 스케일링 정의 및 지원 여부 등 추후 고려

3. CB-Spider NLB Operation Flow

NLB 주요 동작 흐름은 다음과 같다.
- ① Client -> Frontend 서비스 요청
  - Client는 TCP, HTTP 또는 UDP 프로토콜 기반으로 Frontend 리스너 IP 및 리스너 포트를 통해서 서비스를 요청한다.
  - Client의 HTTP 프로토콜 호출의 경우 VMGroup 수신 프로토콜이 TCP의 경우 가능하다.
- ② Frontend -> Backend 서비스 라우팅
  - 리스너에 의해 수신된 사용자 요청은 TCP 또는 UDP 기반으로 VM 그룹 포트로 라우팅 된다.
- ③ 라우팅 대상 VM 선정 및 라우팅 (대상 CSP에서 수행)
  - VM 그룹에 포함된 VM들 중 Healthy 상태의 VM에게 Client 요청 및 입력 스트림을 라우팅 한다.
  - VM 그룹에 포함된 모든 VM들이 Unhealthy 상태인 경우 CSP별로 다음과 같이 동작 한다.
    - VM 그룹에 포함된 모든 VM에 라우팅하는 CSP: AWS, GCP, Tencent
    - Client 스트림을 라우팅하지 않는 CSP: Azure, IBM, Cloudit
- ※ Health Checking
  - 헬스 체크기는 주기적으로 VM 그룹에 포함된 VM의 Health 상태를 파악하고 제공한다.

4. NLB Driver Common API

Source Tree

$tree cb-spider/cloud-control-manager/cloud-driver/interfaces/
cb-spider/cloud-control-manager/cloud-driver/interfaces/
|-- CloudDriver.go
|-- README.md
|-- connect
|   `-- CloudConnect.go
`-- resources
    |-- IId.go
    |-- ImageHandler.go
    |-- KeyPairHandler.go
    |-- KeyValue.go
    |-- NLBHandler.go  <======================= Network Load Balancer Driver API
    |-- SecurityHandler.go
    |-- VMHandler.go
    |-- VMSpecHandler.go
    `-- VPCHandler.go

Driver API Spec V0.4 (latest)

package resources

import "time"

//-------- Info Structure
type NLBInfo struct {
        IId             IID     // {NameId, SystemId}
        VpcIID          IID     // {NameId, SystemId}

        Type            string  // PUBLIC(V) | INTERNAL
        Scope           string  // REGION(V) | GLOBAL

        //------ Frontend
        Listener        ListenerInfo

        //------ Backend
        VMGroup         VMGroupInfo
        HealthChecker   HealthCheckerInfo

        CreatedTime     time.Time
        KeyValueList []KeyValue
}

type ListenerInfo struct {
        Protocol        string  // TCP|UDP
        IP              string  // Auto Generated and attached
        Port            string  // 1-65535
        DNSName         string  // Optional, Auto Generated and attached

        CspID           string  // Optional, May be Used by Driver.
        KeyValueList []KeyValue
}

type VMGroupInfo struct {
        Protocol        string  // TCP|UDP
        Port            string  // 1-65535
        VMs             *[]IID

        CspID           string  // Optional, May be Used by Driver.
        KeyValueList []KeyValue
}

type HealthCheckerInfo struct {
        Protocol        string  // TCP|HTTP
        Port            string  // Listener Port or 1-65535
        Interval        int     // secs, Interval time between health checks.
        Timeout         int     // secs, Waiting time to decide an unhealthy VM when no response.
        Threshold       int     // num, The number of continuous health checks to change the VM status.

        CspID           string  // Optional, May be Used by Driver.
        KeyValueList    []KeyValue
}

type HealthInfo struct {
        AllVMs          *[]IID
        HealthyVMs      *[]IID
        UnHealthyVMs    *[]IID
}

//-------- API
type NLBHandler interface {

        //------ NLB Management
        CreateNLB(nlbReqInfo NLBInfo) (NLBInfo, error)
        ListNLB() ([]*NLBInfo, error)
        GetNLB(nlbIID IID) (NLBInfo, error)
        DeleteNLB(nlbIID IID) (bool, error)

        GetVMGroupHealthInfo(nlbIID IID) (HealthInfo, error)
        AddVMs(nlbIID IID, vmIIDs *[]IID) (VMGroupInfo, error)
        RemoveVMs(nlbIID IID, vmIIDs *[]IID) (bool, error)


//---------------------------------------------------//
// @todo  To support or not will be decided later.   //
//---------------------------------------------------//

        //------ Frontend Control
        ChangeListener(nlbIID IID, listener ListenerInfo) (ListenerInfo, error)
        //------ Backend Control
        ChangeVMGroupInfo(nlbIID IID, vmGroup VMGroupInfo) (VMGroupInfo, error)
        ChangeHealthCheckerInfo(nlbIID IID, healthChecker HealthCheckerInfo) (HealthCheckerInfo, error)

//---------------------------------------------------//
// @todo  To support or not will be decided later.   //
//---------------------------------------------------//

}

5. CB-Spider NLB REST API 규격

v0.6.1+ API Spec 참고

6. NLB 프로토콜/포트 설정 및 시험 결과

CB-Spider v0.6.3+의 검증된 프로토콜 및 포트 설정 예시를 기술한다.
- Listener, VMGroup, HealthChecker 별로 프로토콜 및 포트 설정이 다양할 수 있으나,
- 현재 아래 시험 도구 가이드 및 결과로 검증된 설정 외의 설정 동작은 보장할 수 없다.
NLB Test Tool Guide
- NLB 시험 항목 및 시험 결과(엑셀)

7. NLB Health Checking Interval/Timeout/Threshold Default 설정

[TCP]
- Interval: 10
- Timeout: 10 (예외: IBM은 Interval > Timeout 설정 필요)
- Threshold: 3
[HTTP]
- Interval: 10
- Timeout: 6 (예외: Azure는 설정불가, 동작은 10)
- Threshold: 3

※ 참고: CSP 설정 조건 및 범위

ref) https://docs.google.com/spreadsheets/d/1z4-H-rmbuPLS93JxQwY4prmT9CFLr2TT/edit#gid=1754708736

[Interval]

CSP	지원여부	default 값	조건, 범위 및 특이사항
AWS	O (조건부)	30	* 범위: 10 \| 30만 가능
Azure	O	5	* 범위: 5 이상 * 조건: Interval * Threshold < 2147483647
GCP	O	5	* 범위: 1~300 * 조건: Timeout <= Interval
Alibaba	O	2	* 범위: 1~50
Tencent	O	5	* 범위: 2~300 * 조건: Timeout <= Interval
IBM	O	5	* 범위: 2~60
OpenStack	O	5	범위: 2147483647(int 최대값) 조건: Timeout <= Interval
NHN	O	-	* 범위: 1~5000 * 조건: Timeout < Interval

[Timeout]

CSP	지원여부	default 값	조건, 범위 및 특이사항
AWS	X	10 \| 6	* 설정 불가 * TCP: 10s, HTTP: 6s로 고정
Azure	X	30	* 설정 불가 * [실험값] Interval과 default Timeout (30초) 중 minimum (#791)
GCP	O	5	* 범위: 1 이상 * 조건: Timeout <= Interval
Alibaba	O	5	* 범위: 1~300
Tencent	O	2	* 범위: 2~60 * 조건: Timeout <= Interval
IBM	O	2	* 범위: 1~59
OpenStack	O	5	범위: 2147483647(int 최대값) 조건: Timeout <= Interval
NHN	O	-	* 범위 : 1~5000 * 조건: Timeout < Interval

[Threshold]

CSP	지원여부	default 값	조건, 범위 및 특이사항
AWS	O	3	* 범위: 2~10
Azure	O	1	* 범위: 1 이상 * 조건: Interval * Threshold < 2147483647
GCP	O	2	* 범위: 1~10
Alibaba	O	3	* 범위: 2~10
Tencent	O	3	* 범위: 2~10
IBM	O	2	* 범위: 1~10
OpenStack	O	3	* 범위: 1~10
NHN	O	-	* 범위: 1~10

History

- V0.5 => V0.6
  - HealthCheck관련 설정 값 및 조건 추가
- V0.4 => V0.5
  - NLB 설정 예시 및 시험 결과 별도 페이지로 분리 및 링크 추가
- V0.3.1 => V0.4
  - ChangeXXX() API 보류: 공통 API에서 제외, 추후 제공 필요시 CSP별 선택적 제공 고려
  - 컴포넌트별 제공 Protocol 변경: (1) VMGroup: HTTP(S) 삭제, (2) Health Checker: HTTPS 삭제
  - 현재 버전으로 검증된 Protocol 및 Port 설정 예시 추가
- V0.3 => V0.3.1
  - HealthCheckerInfo에 CspID(Optional) 속성 추가
- V0.2 => V0.3
  - ChangeXXX() API 반환 값 개선
- V0.1 => V0.2
  - Multi Service Listener => Single Service Listener
  - Service Listener  => Listener 
  - Service Group => VM Group
  - API: 변경 사항 반영
  - API: NLBReqInfo를 NLBInfo에 통합
  - API: NLBInfo Type 및 Scope 속성 추가
  - API: 단순화

Network Load Balancer and Driver API - cloud-barista/cb-spider GitHub Wiki

CB-Spider Network Load Balancer and Driver API

1. CB-Spider NLB Overview

2. CB-Spider NLB Components

[NLB-Frontend Tier]

(1) 프론트엔드 리스너(Frontend Listener)

[NLB-Backend Tier]

(2) 백엔드 VM 그룹(Backend VM Group)

(3) 헬스 체크기(Health Checker)

※ 서비스 그룹 오토 스케일링(Service Group Auto-Scaling)

3. CB-Spider NLB Operation Flow

4. NLB Driver Common API

5. CB-Spider NLB REST API 규격

6. NLB 프로토콜/포트 설정 및 시험 결과

7. NLB Health Checking Interval/Timeout/Threshold Default 설정

관련 분석

History