장애 알림 시스템 구축 - 100-hours-a-week/KTB4-16th-Cloud GitHub Wiki

• Cloud Monitoring

v1 모니터링 구성

• 현재 대시보드는 장애 원인을 파악하기 위한 자원 모니터링으로 사용한다.
• v1 일정상 컨테이너 내부의 API 오류율과 응답 시간까지 수집하는 모니터링은 구축하지 못했다. 따라서 현재 대시보드만으로 사용자 요청이 정상 처리되는지 판단할 수는 없다. 이 항목은 후속 모니터링 과제로 남긴다.

Compute Engine

• v1은 두 VM에 애플리케이션을 배치하고, 고정 IP가 연결된 한 대를 Active로 사용하는 구조다.
• v1은 두 VM 중 고정 IP가 연결된 한 대가 Active로 트래픽을 처리한다. 두 VM의 CPU와 메모리 사용량을 같은 대시보드에 표시해, IP 전환 후 새 Active VM의 자원 사용량 변화를 확인할 수 있도록 했다. 한 VM만 차트의 조회 대상으로 설정하면 전환할 때마다 대상 VM을 바꿔야 하므로 두 VM을 모두 포함하는게 적합하다고 판단했다.
• VM의 CPU 사용률이 80%를 초과하면 VM 장애로 판단하고 문자 알림을 받아 원인을 확인하고 대응한다.
• CPU 사용률 80% 초과는 장애 확정이 아니라 자원 부족 가능성을 점검하기 위한 기준이다.

Cloud SQL

• Cloud SQL 인스턴스 2대는 각각 백엔드와 AI 서비스 데이터베이스로 사용된다.
• 두 인스턴스의 CPU 사용률과 디스크 I/O를 표시해 배포 전후의 변화를 비교하고, 어느 인스턴스에서 자원 사용량이 급격히 증가하는지 확인한다.