Dolpin 서비스 인프라 및 확장 전략 설계 문서

서비스 아키텍쳐

---

사용한 인프라 기술 및 서비스 명세

항목	초기 (Jetson Orin Nano)	확장 시 (클라우드 기반 EC2/K8s)
모델 서버	단일 FastAPI 서버 (Docker 컨테이너)	여러 EC2 인스턴스에 동일한 컨테이너 배포 (Kubernetes 또는 Auto Scaling)
트래픽 분산	GCP Load Balancer (단일 서버 내 라우팅)	AWS ALB 또는 Kubernetes Ingress를 통한 부하 분산
서버 운영 방식	온프레미스 Jetson 운영 (하루 15시간)	트래픽 피크 시간대에 EC2 스팟 인스턴스 추가 운용 (예: 식사시간대)
모니터링	Prometheus + Grafana (Jetson 내 모니터링)	동일 스택을 EC2 인스턴스에도 적용하여 전체 리소스 사용 모니터링

---

모니터링 대상 지표 목록과 수집/시각화 방법

구성요소	역할	도구
서버/애플리케이션	API 요청 수, 응답 시간, 에러율	FastAPI 내 Prometheus exporter
시스템 리소스	CPU, 메모리, 디스크 I/O, 네트워크 지표	Node Exporter, DCGM Exporter
시스템 대시보드	실시간 시각화 및 모니터링	Grafana
알림	이상 징후 발생 시 경고 전송	Alertmanager (Discord)

간이 부하 테스트 또는 시뮬레이션 결과와 그에 따른 시스템 자원 사용량/응답시간 변화 분석

추후 진행 예정

---

인프라/모니터링 설계가 팀 서비스의 향후 성장과 안정적 운영에 어떻게 기여하는지에 대한 설명

• 초기 운영:

  • 극소수 사용자 대상으로 Jetson Orin Nano에서 Docker 컨테이너 기반 FastAPI 서버로 운영.
  • Gemini API 프리티어 제한 내에서 운영하며, 실시간 모니터링을 통해 무료 한도 초과 시 유료 전환 예정.

• 확장 전략:

  • 특정 시간대(예: 식사 시간대, 부하 테스트 기간) 및 트래픽 증가 시 EC2 인스턴스를 추가하여 수평 확장 대응.
  • AWS ALB 또는 K8s Ingress로 API 요청 분산.

• 모니터링 및 대응:

  • Prometheus + Grafana로 실시간 지표 확인, Alertmanager로 자동 알림 연동.