• SLI(Service Level Indicator)
  • 서비스가 사용자에게 중요한 기능을 얼마나 잘 제공하고 있는지 확인하기 위한 지표
• 모든 시스템 메트릭을 SLI로 선정하는 것이 아니라 사용자가 실제로 체감하는 핵심 기능을 중심으로 선정
• 웹 서비스에서 일반적으로 중요하게 보는 항목
  • 가용성
  • Latency
  • 요청 성공률
• 우리 서비스에서는 일반적인 웹 서비스 기능 외에 가이드북 생성이 핵심 기능이므로 별도의 SLI 필요

• SLO(Service Level Objective)
  • 선정한 SLI에 대해 우리가 목표로 하는 서비스 수준
• 현재는 실제 운영 데이터가 없는 기획 단계
  • 공개된 SLA 및 벤치마크 자료가 있는 경우 초기 SLO 설정에 참고
  • 서비스 특성에 따라 달라지는 값은 초기 목표를 설정하거나 우선 측정 대상으로 지정
• 이후 부하테스트 및 실제 운영 데이터를 통해 SLO 수정

SLI 선정

→ 어떤 사용자 경험을 중요하게 볼 것인지 결정

SLO 설정

→ 현재 공개 자료 / 서비스 요구사항을 기준으로 초기 목표 설정

부하테스트 및 운영

→ 실제 측정값을 기반으로 SLO 재조정

---

• 초기 서비스 단계
• 상대적으로 낮은 트래픽
• 빠른 구축과 운영 단순성을 우선
• Frontend
  • S3 + CloudFront
• Backend
  • 단일 EC2
  • Spring Boot + MySQL Container
• AI
  • 별도 AI EC2
  • 외부 LLM인 Claude Sonnet 사용

가이드북 생성 흐름

• 사용자 → 백엔드 → AI 서버 → 클로드 소넷 → 가이드북 생성

• 단일 EC2 중심 구조이므로 높은 가용성을 보장하기 위한 구조는 아님
• 아직 실제 API Latency 및 가이드북 생성 성능 데이터가 없음
• V1에서는 실제 서비스 수준을 측정하고 V2의 기준 데이터를 확보하는 것도 중요

---

서비스 변화

• 예상 트래픽 증가
  • 상한 RPS 약 0.6 → 44.3
  • 약 70배 증가
• 결제 기능 도입
• DB 중요도 증가
• 사용자 및 장애 영향 범위 증가
• 가이드북 생성 비동기 처리
• 외부 LLM 대신 자체 모델 사용
• 자체 모델 추론을 위한 GPU Server 운영

가이드북 생성 구조

• 사용자 → 백엔드 → 큐 → 워커 → GPU 서버 → 가이드북 생성

V1보다

• 더 많은 요청 처리
• 핵심 기능의 자체 인프라 의존도 증가
• 결제 도입에 따른 장애 영향 증가
• 자체 GPU 서버의 처리용량 직접 관리 필요

⇒ 따라서 V1에서 측정한 SLI를 기준으로 V2에서 필요한 SLO를 재검토

---

• 서비스 및 API가 정상적으로 응답해야 함

→ 가용성

• 로그인
• 조회
• 저장
• 가이드북 목록 조회 등 일반 API

→ API Latency

일반 API가 정상이어도

• AI 처리 실패 → 가이드북 생성 실패 가능성 존재

→ 가이드북 생성 성공률

가이드북 생성은 일반 API보다 처리시간이 긴 작업

→ 가이드북 생성시간

따라서 주요 SLI는 다음 4가지

1. 서비스 가용성
2. 일반 API Latency
3. 가이드북 생성 성공률
4. 가이드북 생성시간

---

사용자가 서비스를 필요할 때 정상적으로 이용할 수 있는지 확인

• 가용성 = 정상 처리된 유효 요청 / 전체 유효 요청 × 100

  https://docs.aws.amazon.com/ko_kr/wellarchitected/latest/reliability-pillar/availability.html?utm_source=chatgpt.com

  (AWS에서도 가용성을 대표적인 신뢰성 지표로 정의하며 위의 계산식 제시)

  • 서비스 내부 문제로 실패한 요청을 실패로 판단
  • 잘못된 사용자 입력 등 서비스 장애와 관계없는 요청은 별도 구분

• 사용하는 아키텍처의 SLA 기반 계산

  • Frontend: CloudFront(99.9%) × S3(99.9%) = 99.8001%
  • 일반 API: CloudFront(99.9%) × Single EC2(99.5%) = 99.4005%
  • 가이드북 생성: CloudFront(99.9%) × Backend EC2(99.5%) × AI EC2(99.5%) = 98.9035%

  ⇒ SLA 기반 전체 서비스 가용성 = 98.80%

사용자가 일반적인 서비스 기능을 사용할 때 충분히 빠른 응답을 받을 수 있는지 확인

• API End-to-End Latency
• p95 기준

p50 → 일반적인 사용자 경험은 잘 보여줌 → 느린 일부 요청을 거의 반영하지 못함

p95 → 전체 요청의 대부분(95%)을 포함 → 느린 요청도 어느 정도 반영 → 초기 서비스의 대표 latency 지표로 사용하기 적절

p99 → 극단적인 tail latency 확인에 유용 → 상위 1%의 이상치나 일시적인 지연에 더 민감

p95 → 전체 요청의 95%가 몇 ms 이내 응답하는지?

• 평균 응답시간의 경우 일부 느린 요청에 대한 사용자 경험을 확인하기 어려우므로 p95를 대표 SLI로 사용
• 가이드북 생성은 장시간 AI 처리가 포함되므로 일반 API Latency에서 제외

---

서비스의 핵심 기능인 가이드북 생성이 실제로 정상 완료되는지 확인

가이드북 생성 성공률

= 정상 완료된 가이드북 생성 요청 / 전체 유효 생성 요청 × 100

HTTP 요청 성공 여부가 아니라

⇒ 사용자가 실제 가이드북을 사용할 수 있는 상태까지 완료되었는지 기준으로 판단

---

사용자가 생성 요청 후 실제 가이드북을 사용할 수 있기까지 걸리는 시간 확인

가이드북 생성 요청→가이드북 사용 가능 까지의 End-to-End p95 생성시간

V1

AI EC2 처리시간

• Claude Sonnet 응답시간
• 후처리시간

V2

Queue 대기시간

• Worker 처리시간
• GPU 추론시간
• 후처리시간

사용자 입장에서는 내부 처리 방식이 아닌 최종적으로 가이드북을 받기까지 걸리는 시간이 중요하므로 End-to-End 기준으로 측정

---

AWS에서는 일반적인 애플리케이션 가용성 설계 목표의 예시

가용성	연간 최대 비가용 시간	예시
99%	약 3일 15시간	배치 처리
99.9%	약 8시간 45분	내부 도구
99.95%	약 4시간 22분	온라인 상거래 / POS
99.99%	약 52분	비디오 전송 등

• v1

  • 설계에서 90%를 목표로 삼고, 빠른 개발을 우선순위에 둠

  ⇒ 90% 이상 목표

• V2

  • 사용자 증가
  • 결제 기능 도입
  • DB 중요도 증가
  • 장애 발생 시 영향 증가

• AWS에서는 Online Commerce / POS의 가용성 설계 목표 예시로 99.95%를 제시서비스 가용성 ≥ 99.95% ****를 초기 목표로 상향 검토

https://sre.google/workbook/implementing-slos/?utm_source=chatgpt.com

https://sre.google/workbook/slo-document/?utm_source=chatgpt.com

• Google SRE에서는 Request-driven Service의 대표적인 SLO로 Availability와 Latency를 제시
  • Latency SLO는 단순 평균 응답시간이 아니라
  • 일정 비율의 요청이 정해진 응답시간 안에 완료되는가 형태로 설정

Google SRE Workbook의 Interactive Request 예시

• 90% 요청 < 100ms
• 99% 요청 < 400ms

Google SRE의 HTTP Server SLO 예시

• 90% 요청 < 200ms
• 99% 요청 < 1,000ms

결론

• 대부분의 요청 → 약 100~200ms
• Tail Request → 약 400~1,000ms

• V1의 SLO는 대부분의 요청 200ms / tail 1000ms 로 선정

Request Class	Availability
CRITICAL	99.99%
HIGH_FAST	99.9%
HIGH_SLOW	99.9%
LOW	99%

• Google SRE의 요청마다의 가용성 구분사례 참고

• 우리 서비스 가이드북의 경우 중요도는 크지만 즉각적인 응답이 필요하지는 않음

  ⇒ HIGH_SLOW ⇒ 99.9%로 설정