[AI] 오토스케일링 구성 - 100-hours-a-week/5-yeosa-wiki GitHub Wiki
오토스케일링 구성
항목 |
값 |
구성 |
Managed Instance Group (MIG) |
기준 |
CPU 사용률 > 65% (5분 이상) |
인스턴스 수 |
최소 1, 최대 3 |
배포 |
Terraform을 통해 정의된 Instance Template을 기반으로 배포 |
오토스케일링 정책
다음 조건을 만족하면 인스턴스 3대까지 자동 확장(기본 1대):
조건 |
기준값 |
설명 |
CPU 사용률 |
평균 65% 이상 (5분 지속) |
API 요청 처리량 증가 시 CPU 사용량 증가 대응 |
Terraform 오토스케일링 예시
resource "google_compute_autoscaler" "fastapi_autoscaler" {
name = "fastapi-autoscaler"
region = "asia-northeast3"
target = google_compute_region_instance_group_manager.fastapi_mig.id
autoscaling_policy {
min_replicas = 1
max_replicas = 3
cooldown_period = 60
# CPU 사용률 65% 초과
cpu_utilization {
target = 0.65
}
}