SLI SLO - 100-hours-a-week/9-team-Devths-WIKI GitHub Wiki

본 문서는 현재 V1 기준으로 작성한 초안이며, 1차 완성 배포, V2~ 이후 작성을 진행 할 예정입니다.

서비스 수준 목표(SLO) / 서비스 수준 지표(SLI)

중점 서비스 기준 서비스 수준 목표 설정 너무 높게 잡으면 서비스 운영 비용 폭증, 너무 낮게 잡으면 사용자가 떠남.

기다림이 지루하지 않아야 한다.

중요 키워드: 성공 여부 체감 대기시간
SLO 목표: 이력서를 올리면 오류 없이 분석되어야 하고, 너무 오래 기다리면 안된다.
- 이력서 분석에서 오류 발생 시 사용자 경험 저하
- 오래 기다릴 경우 사용자 이탈 발생
- 99%의 유효한 이력서는 업로드 실패 없이 분석되어야한다.
- 90%의 사용자는 30초 이내에 분석 결과를 받아야한다.
SLI 측정 방식
- 이력서 처리 성공률: (분석 완료 로그 수 / 업로드 요청 로그 수) * 100
- E2E 처리 시간: 이력서 업로드 후 종합 분석하기 버튼 클릭하여 분석 시간 후, 분석 완료 결과 DB 업데이트 시간 (현재 알림이 비동기적으로 처리되나, 푸시 알림 등의 시스템 알림은 발생하지 않기 때문에, DB 기준으로 로그 수집)

대화가 끊기지 않아야 한다.

중요 키워드: 첫 반응 속도
SLO 목표: 말을 걸거나, 응답을 하면 즉각적으로 반응하는 것으로 느껴야 한다.
- 면접의 호흡이 끊어지면 사용자 경험이 저하
- 면접 진행 중 오류로 연결이 끊어지면, 사용저 경험이 저하되고, 이탈 발생
- 95%의 대화에서 AI는 2초 이내에 응답을 시작해야한다.
- 면접 진행 중 오류로 대화가 중단되는 경우는 1% 미만이어야한다.
SLI 측정 방식
- TTFT(Time To First Token): FastAPI 에서 요청 수신 시각 ~ 첫 스트리밍 청크 발송 시간 간격 측정
- 세션 비정상 종료율: (전체 채팅 요청 수 - "incomplete": true 인 메시지 수) / 전체 채팅 요청 수 * 100 . DB의 ai_chat_messages 테이블을 조회했을 때, metadata 컬럼(JSON)에 "incomplete": true 값이 들어있다면 중간에 끊긴 실패한 대화

사용이 답답하지 않아야 한다.

중요 키워드: 빠른 반응
SLO 목표: 링크 및 버튼을 클릭했을 때, 화면의 주요 내용이 바로 보여야한다.
- 화면 요소가 로딩중에 바뀌면 사용자 경험 저하
- 화면 로딩이 느려지거나 오류가 발생하면 사용자 이탈 발생
- 90%이상의 페이지 로딩은 2.5초 이내에 완료해야한다.
- 클릭, 입력 시 100ms 이내에 반응해야한다.
SLI 측정 방식
- LCP (Largest Contentful Paint)
- FID (First Input Delay)

서비스 접속이 정상적이어야 한다.

중요 키워드: 정상 작동
SLO 목표: 로그인, 및 회원가입 과정이 정상적으로 진행되어야한다.
- 서비스의 진입 지점이므로, 에러 발생시 사용자 유입이 불가능하다.
- 엄격한 에러 관리가 진행되어야한다.
- 99.9%의 사용자는 회원가입/로그인 과정에서 시스템 에러를 경험하지 않아야한다.
SLI 측정 방식
- 인증 프로세스 성공률: (로그인 성공 200 OK 수 / 전체 로그인 시도 수) * 100 (401 인증 실패는 시스템 실패로 치지 않아야 함)

AI 의 응답이 저품질이 아니어야한다.

중요 키워드: 적절한 응답, 응답 품질 관리
SLO 목표: AI 가 질문에 맞는 적절한 응답을 해야한다.
- 200 OK가 나와도 엉뚱한 소리를 하는 경우 서비스 문제라고 인식
- 200 OK 후 응답이 제대로 오지 않는 경우(빈 응답) 사용자 경험 저하
- 응답은 하였으나, 맥락에 맞지 않는 응답을 하는경우, 사용자 이탈
- 사용자가 답변에 만족하지 않아 답변 재 생성을 시도하는 비율이 15% 미만이어야 한다.
SLI 측정 방식
- 재생성 요청 비율: FE 에서 다시 생성 버튼을 누르는 이벤트 수집 (RUM Custom event)