본 프로젝트의 배포 파이프라인은 초기 GitHub 브랜치 전략과 GCP Bastion 서버를 활용한 수동 배포에서 시작하여, 이후 점차적으로 CI/CD 자동화, 컨테이너화, Kubernetes 오케스트레이션, 배포 자동화 도구까지 확장을 진행합니다

각 단계는 실 운영 경험과 기술 도입 시점을 기준으로 문서화되며, 단계별로 독립적인 파일에 정리되어 있습니다.

• 1단계 - Git 브랜치 기반 + Bastion 수동 배포 [바로가기]
• 2단계 - Jenkins + Terraform을 통한 배포 자동화 [바로가기]
• 3단계 - Docker 기반 컨테이너화 배포 [바로가기]
• 4단계 - kubeadm을 활용한 오케스트레이션 [바로가기]
• 5단계 - k8s를 활용한 배포 자동화 및 모니터링 [바로가기]

• AI 서버: FastAPI + Uvicorn
• 배포 환경: GCP
• CI/CD 도구: Jenkins + Docker 기반
• 서버 배포 흐름:
  1. Github branch push 감지(Jenkins)
  2. Docker 이미지 빌드 및 푸시
  3. GCP 서버 자동 배포
  4. 배포 결과 디스코드 알림
• 수정 일자 : 2025-05-27 (3단계)

3단계 배포 이후 과정부터는 AI 서버에 관한 logs, metrics을 시각화 할 수 있도록 모니터링 시스템을 도입하였습니다.

모니터링 이미지 확인

• Python 3.10
• Linux os

git clone https://github.com/100-hours-a-week/7-team-ddb-ai.git

cd fastapi_app/

# env 파일 작성

pip install -r requirements.txt

uvicorn main:app --reload [--no-access-log] #http 요청 응답 콘솔 로그 미출력

graph LR
    A["클라이언트 요청 (/v1/recommend)"]
    B["FastAPI 비동기 엔드포인트<br/>(async def get_recommendation)"]
    C["RecommenderService.get_recommendation<br/>(async, LLM 호출)"]
    D["await self.chain.ainvoke<br/>(비동기 LLM 키워드 추출)"]
    E["키워드 추출 결과"]
    F["await asyncio.to_thread(get_recommendations, keywords)"]
    G["RecommendationEngine.get_recommendations<br/>(동기, 스레드풀)"]
    H["PlaceStore.search_places<br/>(동기, 스레드풀)"]
    I["추천 결과 생성 및 반환"]
    J["RecommenderService에서 결과 반환"]
    K["FastAPI가 클라이언트에 응답"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    I --> J
    J --> K

POST /api/v1/recommend
Content-Type: application/json

{
    "text": "공부하기 좋은 카페 추천해줘"
}

{
    "recommendations": [
      {
        "id": 1075919317,
        "similarity_score": 4.545190393924713,
        "keyword": [
          "편안한 분위기",
          "와이파이",
          "카페"
        ]
      },
      {
        "id": 18612362,
        "similarity_score": 4.5237778425216675,
        "keyword": [
          "분위기 좋음",
          "와이파이",
          "카페"
        ]
      }
    ]
}

• 1단계 : 모델 API 설계
  • API 명세서 구글 시트
• 2단계 : 모델 추론 성능 최적화
• 3단계 : 서비스 아키텍처 모듈화
• 4단계 : LangChain 기반 멀티스텝 AI 구현 검토
• 5단계 : RAG 도입 가능성 점검
• 6단계 : MCP 도입 가능성 점검
• 7단계 : 서비스 인프라 확장성과 모니터링 설계
• 8단계 : 최종 통합 설계 및 회고

• 기반 모델: Gemini Embedding, (또는 대체 로컬 LLM 검토 중)
• 학습 데이터: 장소 메타데이터, 사용자 기록(일기) 텍스트
• 학습 흐름:
  • 데이터 수집 및 전처리 (정제, 텍스트 클렌징)
  • 기록 데이터 Embedding 생성
  • FAISS 기반 Vector Store에 저장
• 성능 개선:
  • 사용자 평가 기반 정성적, 정량적 성능 향상
  • Fine-Tuning (LoRA 활용 가능성 검토)
• 사용 기술:
  • MCP (Multi-Context Processing) 기법을 통한 입력 강화

• Embedding 저장: FAISS 기반 Vector Store
• 검색 방식:
  • Cosine Similarity 기반 최근접 이웃 검색
• FAISS 설정:
  • HNSW (Hierarchical Navigable Small World) 구조 사용 예정
• Pipeline:
  • 검색어 → 유사 장소 검색 → 추천 결과 제공
• On-Device Serving:
  • Local LLM 서빙 검토 중 (로컬 모델 활용 가능성)

• (추가 예정): 스프린트 후 발생한 주요 이슈를 정리할 예정
  • 예: FAISS 인덱스 부하 이슈
  • 예: 로컬 서빙 모델 최적화 실패 등