Task 스펙: 1 vCPU / 2 GiB

BE는 Task당 500 RPS를 운영 기준으로 Target Tracking을 적용한다.

일반적인 트래픽 증가는 ALB RequestCountPerTarget으로 대응하고, 동일한 RPS에서도 연산량이 높은 요청으로 CPU 부하가 증가하는 상황에 대응하기 위해 CPU 60%를 Secondary Metric으로 사용한다.

처리량 기준 예상 피크 Task는 3개이며, 가용성을 위해 최소 2개의 Task를 유지한다.

Scale-Out은 트래픽 증가에 빠르게 대응하기 위해 60초, Scale-In은 반복적인 Task 증감을 방지하기 위해 300초의 Cooldown을 초기값으로 설정한다.

항목	설정
Primary	30,000 req/min/Task (500 RPS)
Secondary	CPU 60%
Min Task	2
예상 Peak Task	3
Max Task	6
Scale-Out Cooldown	60초
Scale-In Cooldown	300초

Task 1개의 적정 처리량을 확인하기 위해 실제 서비스의 READ : WRITE = 3 : 4 비율로 부하테스트를 진행하였다.

RPS	CPU	p95	p99
200	23.6%	4.1 ms	48.8 ms
400	29.6%	6.3 ms	89.7 ms
500	42.8%	2.7 ms	43.3 ms
600	41.6%	83.7 ms	185.8 ms
800	59.6%	105.0 ms	211.6 ms

500 RPS까지는 안정적인 응답시간을 유지했지만, 600 RPS부터 p95가 83.7ms로 증가하였다.

따라서 성능 저하가 발생하기 전인 500 RPS를 Task 1개의 운영 기준으로 설정하였다.

500 RPS × 60초 = 30,000 req/min/Task

CPU는 RPS 증가와 일정하게 비례하지 않고 동일한 RPS에서도 변동성이 크게 나타났다.

RPS	CPU 평균	최소	최대	변동계수
200	23.8%	16.3%	29.0%	14.6%
400	30.5%	24.0%	37.6%	13.9%
500	45.6%	26.3%	97.5%	50.8%
600	43.5%	25.6%	63.2%	29.4%
800	53.9%	30.6%	72.5%	23.4%

따라서 CPU를 요청량을 대표하는 Primary Metric으로 사용하지 않는다.

다만 동일한 RPS에서도 연산량이 높은 요청이 특정 Task에 집중될 경우 RPS가 500에 도달하기 전에 CPU가 먼저 높아질 수 있다. 이를 보완하기 위해 CPU 60%를 Secondary Metric으로 사용한다.

60%는 RPS 기반 Scale-Out보다 CPU가 먼저 포화되는 상황에 대응하기 위한 초기 운영값이며, 운영 데이터를 통해 재조정한다.

현재 예상 트래픽은 평균 272 RPS, 피크 1,470 RPS이다.

평균: 272 / 500 = 0.54 Task

피크: 1,470 / 500 = 2.94 → 3 Tasks

처리량만 고려하면 평상시 1 Task로도 처리 가능하지만, 가용성을 위해 Min Task는 2개로 설정한다.

예상 피크에는 3개의 Task가 필요하며, 현재 서비스가 빠르게 성장하고 있는 점을 고려하여 예상 Peak Task의 2배인 6개를 Max Task로 설정한다.

Scale-Out Cooldown은 60초를 초기값으로 설정한다.

현재 서비스는 순간적인 Spike보다 수 시간에 걸쳐 피크까지 트래픽이 증가하는 패턴을 가지며, 500 RPS에서 Scale-Out을 시작한다.

Scale-Out 이후 추가된 Capacity가 Metric에 반영될 시간을 확보하면서도 트래픽 증가에 빠르게 대응할 수 있도록 60초를 초기값으로 사용하고, 실제 Task 생성 및 트래픽 분산 시간을 측정한 이후 조정한다.

Scale-In은 Target Tracking의 기본 동작을 사용하며, 일시적인 트래픽 감소에 따른 반복적인 Task 증감을 줄이기 위해 300초를 초기값으로 설정한다.

---