[AI] 오토스케일링 구성 - 100-hours-a-week/5-yeosa-wiki GitHub Wiki

오토스케일링 구성

항목
구성 Managed Instance Group (MIG)
기준 CPU 사용률 > 65% (5분 이상)
인스턴스 수 최소 1, 최대 3
배포 Terraform을 통해 정의된 Instance Template을 기반으로 배포

오토스케일링 정책

다음 조건을 만족하면 인스턴스 3대까지 자동 확장(기본 1대):

조건 기준값 설명
CPU 사용률 평균 65% 이상 (5분 지속) API 요청 처리량 증가 시 CPU 사용량 증가 대응

Terraform 오토스케일링 예시

resource "google_compute_autoscaler" "fastapi_autoscaler" {
  name   = "fastapi-autoscaler"
  region = "asia-northeast3"
  target = google_compute_region_instance_group_manager.fastapi_mig.id

  autoscaling_policy {
    min_replicas    = 1
    max_replicas    = 3
    cooldown_period = 60

    # CPU 사용률 65% 초과
    cpu_utilization {
      target = 0.65
    }
}