Devths AI/ML Engineering Wiki

AI Repository: GitHub Link

📚 목차

프로젝트 개요

[AI] 00. 서비스 시나리오

[AI] 01. 버전별 로드맵

시스템 설계

[AI] 02. 시퀀스 다이어그램

[AI] 03. 아키텍처 설계

[AI] 09. VectorDB 설계

설계 과제 (단계 1~8)

[AI] 04. 모델 API 설계 - 단계 1

[AI] 05. 추론 성능 최적화 - 단계 2

[AI] 03. 아키텍처 설계 - 단계 3 (모듈화 포함)

[AI] 06. 멀티스텝 파이프라인 - 단계 4

[AI] 07. RAG 컨텍스트 보강 - 단계 5

[AI] 08. 외부 도구 통합 - 단계 6

[AI] 10. 인프라 확장성 모니터링 - 단계 7

[AI] 11. 테스트 전략 - 품질 보증

[AI] 12. Pydantic 스키마 - Request/Response 검증

[AI] 13. 모델 선정 - LLM/VLM/Embedding 선정

[AI] 14. Cloud AI - 클라우드 AI 서비스 전략

[AI] 99. 최종 통합 회고 - 단계 8

기술 의사결정 (ADR)

[AI] 00. ADR 001-005 - 기본 아키텍처

상세 목차 보기

ADR-001: LLM 스트리밍 통신 방식 (SSE vs WebSocket)
ADR-002: 분석 결과 저장 형식 (JSON vs Text)
ADR-003: VectorDB 선택 (ChromaDB)
ADR-004: 비동기 처리 방식 (Polling)
ADR-005: 면접 Q&A 저장 전략 (개별 저장)

[AI] 01. ADR 006-010 - 인프라 및 통합

상세 목차 보기

ADR-006: 인프라 진화 전략 (EC2 → Docker → K8s)
ADR-007: Kubernetes vs Kubeflow 도입 시기
ADR-008: OCR + 임베딩 내부 통합 처리
ADR-009: 채팅 컨텍스트 관리 (Redis + LangChain Memory)
ADR-010: OCR 서비스 선택 (Gemini Vision)

[AI] 02. ADR 011-015 - 고급 기능

상세 목차 보기

ADR-011: 서버리스 API 전략 (Lambda 검토)
ADR-012: 캘린더 서비스 차별화 전략
ADR-013: 팀 블로그 / Wiki 운영 방식
ADR-014: LLM 모델 선정 및 Fallback 전략
ADR-015: 배치 처리 전략 (Celery Beat → Airflow)

[AI] 03. ADR 016-020 - 모니터링 및 최적화

상세 목차 보기

ADR-016: LLM 모니터링 도구 (LangSmith vs LangFuse)
ADR-017: FastAPI 서버 분리 전략 (모델 서버 vs 서비스 서버)
ADR-018: 이벤트 스트리밍 (Celery Beat → Kafka)
ADR-019: LLM 출력 구조화 (LangChain + LangGraph)
ADR-020: RAG Reranker 도입 (Cohere Rerank)

[AI] 04. ADR 021-025 - 최적화 ⭐ NEW

상세 목차 보기

ADR-021: Embedding 모델 통일 (Gemini 단일 모델 + BM25 Hybrid)
ADR-022: AI 파이프라인 테스트 (n8n 도입)
ADR-023: 면접 질문 Pool 캐싱 전략 (80% 비용 절감)
ADR-024: VectorDB 필터링 전략
ADR-025: (예정)

[AI] 05. ADR 026-030 - 서버 구조 및 모델 전략

상세 목차 보기

ADR-026: Gunicorn + Uvicorn 서버 구조
ADR-027: AI 페르소나 도입
ADR-028: (예정)
ADR-029: (예정)
ADR-030: VectorDB 선택 (ChromaDB)

[AI] 06. ADR 031-035 - 모델 학습/최적화 및 서빙

상세 목차 보기

ADR-031: 파인튜닝/강화학습 미적용 결정
ADR-032: Gemini API 선택 (LLM + VLM 통합)
ADR-033: Ollama 도입 (면접 모드 한정 - 보안 강화)
ADR-034: 임베딩 모델 전략 (Gemini → BERT)
ADR-035: 종합 모델 전략 (V1-V3)

[AI] 07. ADR 036-040 - PoC/Pilot 기술 선정

상세 목차 보기

ADR-036: OCR vs VLM 선택 전략 (CLOVA + Gemini Vision)
ADR-037: vLLM 로컬 서빙 모델 선정 (EXAONE vs Qwen)
ADR-038: 임베딩 모델 마이그레이션 전략 (Gemini → ko-sroberta)
ADR-039: VectorDB 전략 (ChromaDB 유지 - V3 최적)
ADR-040: 부하 테스트 및 배치 처리 전략

[AI] 08. ADR 041-045 - 인프라 확장 및 하이브리드 스케일링 ⭐ NEW

상세 목차 보기

ADR-041: 하이브리드 스케일링 전략 (RunPod + Lambda)
ADR-042: (예정)
ADR-043: (예정)
ADR-044: (예정)
ADR-045: (예정)

[AI] 09. ADR 046-050 - 비동기 최적화

상세 목차 보기

ADR-046: ChromaDB 운영 모드 선정 (Embedded → Server Mode)
ADR-047: EXAONE 32B 모델 서빙을 위한 GPU 인프라 선택 (RunPod)
ADR-048: 채팅·면접 피드백 응답 방식 (스트리밍 유지)
ADR-049: 비동기 호출 방식 - 임베딩 배치 및 독립 작업 병렬화
ADR-050: RAG·면접 조회 병렬화 (asyncio.gather)

[AI] 10. ADR 051-055 - 파이프라인 고도화

상세 목차 보기

ADR-051: 모의 면접 질문 생성 방식 (다회 개별 호출 → 1회 배치 생성)
ADR-052: 프롬프트 관리 방식 진화 (코드 내장 → YAML 외부화)
ADR-053: 채팅 대화 맥락(history) 실제 반영 (LCEL 도입)
ADR-054: RAG 리트리버 확장 (Dense MMR + Sparse BM25 앙상블)
ADR-055: 캐시·질문 이력 저장소 전략 (인메모리 우선, Redis/Kafka 확장)

[AI] 11. ADR 056-060 - RAG 확장

상세 목차 보기

ADR-056: 모의면접 결과 VectorDB 자동 적재 파이프라인
ADR-057: 면접·채팅 대화 맥락 관리 전략 (세션 기반, 버퍼 메모리 미도입)
ADR-058: PDF 텍스트 추출 전략 (OCR 파이프라인 유지)
ADR-059: URL 기반 문서 입력 지원 (WebBaseLoader 도입)
ADR-060: 텍스트 분할 전략 (RecursiveCharacterTextSplitter + pdfplumber 전환 로드맵)

[AI] 12. ADR 061-065 - 보안 및 DB 연동

상세 목차 보기

ADR-061: RAGChain MMR 코루틴 버그 수정 및 Langfuse 관측 도입
ADR-062: 프롬프트 인젝션 방어 시스템 (정규식 기반 2단계 필터링)
ADR-063: PDF 텍스트 추출 전략 진화 (pdfplumber 우선 + OCR 폴백)
ADR-064: ChromaDB-PostgreSQL 데이터 연동 전략 (user_id 기반 간접 연동)
ADR-065: 임베딩 캐시 전략 (CacheBackedEmbeddings + LocalFileStore)

[AI] 13. ADR 066-070 - 리트리버 전략

상세 목차 보기

ADR-066: 기술면접 질문 중복 방지 (임베딩 유사도 + 답변 품질 평가)
ADR-067: LangChain 6대 모듈 도입 현황 (4개 완전 도입, Memory 의도적 미도입)
ADR-068: LangChain Callbacks 도입 (Langfuse CallbackHandler 전환)
ADR-069: RAG 리트리버 확장 전략 로드맵
ADR-070: LCEL 전환 + 부모 문서·다중 쿼리 리트리버 도입 계획

[AI] 14. ADR 071-075 - 고급 리트리버 도입

상세 목차 보기

ADR-071: 부모 문서 리트리버 도입 (ParentDocumentRetriever + InMemoryStore)
ADR-072: 다중 쿼리 리트리버 도입 (LCEL 체인 기반 쿼리 다각화)
ADR-073: 다중 벡터 스토어 리트리버 도입 (요약 임베딩 + 가설 쿼리)
ADR-074: 셀프 쿼리 리트리버 도입 (메타데이터 기반 구조화 검색)
ADR-075: 시간 가중 벡터 스토어 리트리버 도입 (감쇠율 기반 최신성 반영)

[AI] 16. ADR 081-085 - SageMaker 도입 (ADR-076~080 파일 없음)

상세 목차 보기

ADR-081: Amazon SageMaker 도입 결정 (관리형 ML 서빙 플랫폼 선정)
ADR-082: SageMaker 호스팅 방식 (실시간 + 비동기 혼합 전략)
ADR-083: SageMaker와 기존 vLLM·RunPod 통합 전략
ADR-084: SageMaker 모델 패키징 및 배포 파이프라인
ADR-085: SageMaker 모니터링 및 비용 관리 (CloudWatch + Cost Explorer)

[AI] 17. ADR 086-090 - LLM 최적화 및 MLOps

상세 목차 보기

ADR-086: 효율성·답변 품질·안정성 — Exaone 8B 제외, Gemini API 유지
ADR-087: SageMaker 도입 — LLM 파인튜닝 필수 5대 기능
ADR-088: 채용 트렌드 배치 학습 파이프라인 (크론+Celery + SageMaker Training)
ADR-089: 학습·배포용 Docker 이미지 관리 (AWS ECR)
ADR-090: 개인화 추천 도입 (Phase 1: 콘텐츠 필터링, Phase 2: 협업 필터링)

[AI] 18. ADR 091-095 - OSS LLM 및 평가 전략

상세 목차 보기

ADR-091: Langfuse LLM-as-Judge 기반 모델 평가 전략
ADR-092: vLLM·ExaONE 8B·32B 서빙 트랜스포머·양자화 테스트 전략
ADR-093: OSS LLM 채택 — Qwen3-14B-Base 및 권장 GPU 인스턴스
ADR-094: 채용 트렌드 데이터 수집 (WebBaseLoader 자체 크롤링)
ADR-095: 채용 트렌드 자동 크롤링 로드맵 (WebBaseLoader → Tavily)

[AI] 19. ADR 096-100 - 인프라 및 운영 최적화

상세 목차 보기

ADR-096: Celery Beat 스케줄러를 위한 Redis/ElastiCache 통합 전략
ADR-097: AI 서버 중간 구현 체크포인트 (도입 현황 점검 및 우선순위 정리)
ADR-098: LLM 페르소나 강화 전략 (면접관 캐릭터 다양화)
ADR-099: OCR 파이프라인 단순화 (LangChain PDFLoader 확정)
ADR-100: CORS 정책 수정 (명시적 도메인 관리 + 환경변수화)

[AI] 20. ADR 101-105 - 기능 고도화

상세 목차 보기

ADR-101: Tavily Search API 도입 (채용 트렌드 Phase 2 크롤링 고도화)
ADR-102: CPU-bound 비동기 태스크 Celery 이관 (504 타임아웃 해결)
ADR-103: Tavily Search API 전체 구현 완료 (검색 API + 캐싱 + 폴백)
ADR-104: RAG 리랭커 선정 (FlashRank 도입)
ADR-105: AI 서비스 Redis 사용 현황 및 AWS ElastiCache 연동 가이드

[AI] 21. ADR 106-110 - LCEL 아키텍처 고도화

상세 목차 보기

ADR-106: RAG 파이프라인 고도화 로드맵 (LCEL → 고급 리트리버 → RAPTOR)
ADR-107: Docker Compose 동시성 확장 (Gunicorn 4 Uvicorn Workers)
ADR-108: Celery Fallback 전략 (Redis 연결 불가 시 asyncio.create_task() 전환)
ADR-109: 사전 정의 요약 체인 선택 전략 (stuff/map-reduce/map-refine/CoD)
ADR-110: LCEL 고급 문법 전면 도입 (Runnable 객체 조합)

[AI] 22. ADR 111-115 - 모델 평가 및 ML 파이프라인

상세 목차 보기

ADR-111: 언어모델 유형별 적용 전략 (MLM/자기회귀/트랜스포머 역할 분리)
ADR-112: AI 평가 고도화 전략 (Faithfulness/Context Relevance/Multi-Judge)
ADR-113: Langfuse 기반 RAG 평가 고도화 (Dataset API/Heuristic/RAGAS)
ADR-114: ML 파이프라인 배치 전략 (Dev 학습 / Prod 추론 분리 아키텍처)
ADR-115: SageMaker Managed Instance 전략 (일회성 학습 + 상시 추론)

[AI] 23. ADR 116-120 - SageMaker 자동화 전략

상세 목차 보기

ADR-116: SageMaker 자동화 도구 비교 (도입 vs 제외 결정)
ADR-117: SageMaker Pipelines vs Airflow (SageMaker Pipelines 선택)
ADR-118: SageMaker AMT 도입 (Pipeline TuningStep + Bayesian Optimization)
ADR-119: ECR 기반 학습 컨테이너 통합 관리 (JumpStart 미사용 결정)
ADR-120: SageMaker Experiments 도입 (Langfuse와 역할 분리)

[AI] 24. ADR 121-125 - 안정성 및 코드 품질

상세 목차 보기

ADR-121: INTERVIEW PHASE 1 SSE Keepalive (300→180초, 타임아웃 대응)
ADR-122: VectorDB → S3 학습 데이터 동기화 Celery 태스크 트러블슈팅
ADR-123: Gunicorn 멀티워커 세션 파일 락 (threading.Lock → FileLock)
ADR-124: LLM 응답 헬퍼 추출 및 꼬리질문 Silent Failure 제거
ADR-125: Few-shot 거리 완화 전략 및 평가 프롬프트 외부화

[AI] 25. ADR 126-130 - 고가용성 및 마이그레이션

상세 목차 보기

ADR-126: Redis 고가용성(HA) 전략 (ElastiCache Replication Group)
ADR-127: SSE 클라이언트 연결 해제 감지 (is_disconnected() + CancelledError)
ADR-128: 폴링 힌트 추가 (202 응답에 interval_ms / max_attempts 포함)
ADR-129: 인터뷰 라우트 코드 품질 고도화 (헬퍼 추출 / Few-Shot 캐시 / 프롬프트 외부화)
ADR-130: FileTaskStore → RedisTaskStore 마이그레이션 (k8s 멀티 파드 대응)

[AI] 26. ADR 131-135 - 시스템 고도화 및 완성

상세 목차 보기

ADR-131: Tavily 결과 신뢰성 검증 + 최신 데이터 필터링 (ADR-101 고도화)
ADR-132: 세션 스토어·태스크 큐 Redis 마이그레이션 (k8s 멀티 파드 상태 공유)
ADR-133: SageMaker Celery Worker 배치 전략 (sagemaker_sync 큐 처리)
ADR-134: BM25+MMR 앙상블 파이프라인 런타임 검증 가시성 확보
ADR-135: 비동기 작업 완료 알림 전략 (Webhook Primary + Polling Fallback)

🚀 주요 AI 기능

기능	설명	사용 기술
이력서 분석	강점/약점 분석 + 개선점 제안	LLM + RAG + BM25 Hybrid
채용공고 매칭	이력서-채용공고 적합도 분석	Gemini Embedding + LLM
모의 면접	AI 면접관 (꼬리질문 + 평가)	LangGraph + Question Pool
캘린더 에이전트	자연어로 일정 CRUD	Tool Calling
개인정보 마스킹	첨부파일 개인정보 자동 마스킹	VLM + YOLO

🛠 기술 스택

구분	기술
Framework	FastAPI (Python 3.10)
LLM	Gemini 3 Flash/Pro + GPT-5 mini (Fallback)
Workflow	LangChain + LangGraph
Embedding	Gemini Embedding (단일 모델, ADR-021)
VectorDB	ChromaDB
Retriever	BM25 + Vector Hybrid Search (ADR-021)
Reranker	Cohere Rerank API (ADR-020)
Cache	Redis (Session + Question Pool)
OCR	CLOVA OCR / Gemini Vision
Monitoring	LangSmith (ADR-016)
Testing	n8n (ADR-022)
Batch	Celery Beat (ADR-015)
Infrastructure	RunPod (70%) + Lambda (30%) 하이브리드 (ADR-041)

📋 ADR 요약

ADR 001-010 (기본 아키텍처)

#	제목	결정
001	LLM 스트리밍 통신	SSE 선택
002	분석 결과 저장	JSON (하이브리드)
003	VectorDB 선택	ChromaDB
004	비동기 처리 방식	Polling
005	면접 Q&A 저장	매 문답 개별 저장
006	인프라 진화 전략	EC2 → Docker → K8s
007	K8s 도입 시기	V3
008	OCR + 임베딩	AI Server 내부 통합
009	채팅 컨텍스트	Redis + LangChain Memory
010	OCR 서비스	Gemini Vision (V1)

ADR 011-020 (고급 기능)

#	제목	결정
011	서버리스 API	V3에서 Lambda 검토
012	캘린더 차별화	V2: 준비 가이드
013	Wiki 운영	GitHub Wiki + 블로그
014	LLM 모델 선정	Gemini 3 Flash + GPT-5 mini Fallback
015	배치 처리 전략	Celery Beat → Airflow 검토
016	LLM 모니터링	LangSmith (V2~)
017	FastAPI 서버 분리	V3: 단일 → V4: 모델/서비스 분리
018	이벤트 스트리밍	Celery Beat (V3) → Kafka 검토 (V4+)
019	LLM 출력 구조화	LangChain + LangGraph (V3~)
020	RAG Reranker	Cohere Rerank (V3~)

ADR 021-025 (최적화) ⭐ NEW

#	제목	결정
021	Embedding 모델 통일	Gemini 단일 모델 + BM25 Hybrid
022	AI 파이프라인 테스트	n8n 도입 (개발/테스트)
023	면접 질문 Pool 캐싱	Question Pool + RAG Fallback (80% 비용 절감)
024	VectorDB 필터링	메타데이터 필터링 (V3) → RDB Hybrid 검토 (V4)
025	(예정)	-

ADR 041-045 (인프라 확장) ⭐ NEW

#	제목	결정
041	하이브리드 스케일링	RunPod (70%) + Lambda (30%) - 24% 비용 절감
042	(예정)	-
043	(예정)	-
044	(예정)	-
045	(예정)	-

ADR 046-050 (비동기 최적화)

#	제목	결정
046	ChromaDB 운영 모드	Server Mode 도입 (K8s 멀티 인스턴스 지원)
047	GPU 인프라 선택	RunPod 서버리스 (비용·할당량 최적)
048	채팅·면접 응답 방식	스트리밍 유지 (UX·비용·안정성)
049	임베딩 배치 병렬화	asyncio.gather (처리량·비용 개선)
050	RAG·면접 조회 병렬화	asyncio.gather (지연 반감)

ADR 051-055 (파이프라인 고도화)

#	제목	결정
051	면접 질문 생성 방식	1회 배치 생성 (API 호출 5→1회)
052	프롬프트 관리 방식	YAML 외부화 (버전 관리·보안·재사용)
053	채팅 대화 맥락 반영	LCEL 문법 도입 (Gemini 히스토리 자동 관리)
054	RAG 리트리버 확장	Dense(MMR)+Sparse(BM25) 앙상블
055	캐시·질문 이력 저장	인메모리 우선, Redis/Kafka 확장 대비

ADR 056-060 (RAG 확장)

#	제목	결정
056	면접 결과 VectorDB 적재	비동기 자동 적재 + 배치 CLI
057	대화 맥락 관리 전략	세션 기반 관리 (버퍼 메모리 미도입)
058	PDF 텍스트 추출	OCR 파이프라인 유지 (LangChain Loader 미도입)
059	URL 기반 문서 입력	WebBaseLoader 도입
060	텍스트 분할 전략	RecursiveCharacterTextSplitter + pdfplumber 전환 준비

ADR 061-065 (보안 및 DB 연동)

#	제목	결정
061	MMR 버그 수정 및 관측	Langfuse 임베딩·리트리벌 span 추가
062	프롬프트 인젝션 방어	정규식 기반 2단계 필터링
063	PDF 추출 전략 진화	pdfplumber 우선 + EasyOCR 폴백
064	ChromaDB-PostgreSQL 연동	user_id 기반 간접 연동
065	임베딩 캐시 전략	CacheBackedEmbeddings + LocalFileStore

ADR 066-070 (리트리버 전략)

#	제목	결정
066	면접 질문 중복 방지	답변 품질 등급 + 유사도 필터링
067	LangChain 6대 모듈 도입	4개 완전 도입, Memory 의도적 미도입
068	LangChain Callbacks	Langfuse CallbackHandler 전환
069	RAG 리트리버 확장 전략	다중 리트리버 로드맵 수립
070	LCEL 전환 + 고급 리트리버	LCEL + 고급 리트리버 5종 도입 로드맵

ADR 071-075 (고급 리트리버 도입)

#	제목	결정
071	부모 문서 리트리버	ParentDocumentRetriever + InMemoryStore
072	다중 쿼리 리트리버	LLM으로 3가지 쿼리 변형 생성
073	다중 벡터 스토어 리트리버	요약·가설 쿼리 활용
074	셀프 쿼리 리트리버	LLM 메타데이터 필터 자동 생성
075	시간 가중 리트리버	감쇠율 기반 최신성 반영

ADR 081-085 (SageMaker 도입)

#	제목	결정
081	SageMaker 도입 결정	AWS 일원화, MLOps 표준화
082	SageMaker 호스팅 방식	실시간+비동기 혼합 전략
083	SageMaker-vLLM-RunPod 통합	8B SageMaker 서빙, 32B 미사용
084	모델 패키징 및 배포 파이프라인	Pipeline + Model Registry 도입
085	SageMaker 모니터링	CloudWatch + Cost Explorer

ADR 086-090 (LLM 최적화 및 MLOps)

#	제목	결정
086	LLM 효율성 전략	Gemini API 유지, Exaone 8B 제외
087	SageMaker 파인튜닝 필수 기능	Training/Pipelines/Registry/Endpoint/Experiments
088	채용 트렌드 배치 학습 파이프라인	크론+Celery + SageMaker Training
089	학습·배포용 Docker 이미지 관리	ECR 통합 관리
090	개인화 추천 도입	Phase 1: 콘텐츠 필터링, Phase 2: 협업 필터링

ADR 091-095 (OSS LLM 및 평가 전략)

#	제목	결정
091	LLM-as-Judge 평가 전략	Langfuse 기반 품질 평가 자동화
092	vLLM·ExaONE 서빙 전략	8B 양자화+vLLM, AWQ 검토
093	OSS LLM 채택	Qwen3-14B-Base (H100·L40S 권장)
094	채용 트렌드 크롤링	WebBaseLoader 자체 크롤링 (Tavily 추후 검토)
095	채용 트렌드 자동 크롤링 로드맵	WebBaseLoader → Tavily 단계적 전환

ADR 096-100 (인프라 및 운영 최적화)

#	제목	결정
096	Celery Beat Redis/ElastiCache 통합	ElastiCache Replication Group
097	AI 서버 중간 체크포인트	우선순위: Langfuse > 임베딩 캐시 > RAG 고도화
098	LLM 페르소나 강화 전략	직무별 페르소나 + 프롬프트 외부화
099	OCR 파이프라인 단순화	LangChain PDFLoader 확정
100	CORS 정책 수정	명시적 도메인 관리 + 환경변수화

ADR 101-105 (기능 고도화)

#	제목	결정
101	Tavily Search API 도입	Phase 2 크롤링 고도화
102	CPU-bound 태스크 Celery 이관	text_extract/masking 504 타임아웃 해결
103	Tavily Search API 구현 완료	검색 API + 캐싱 + 폴백 로직
104	RAG 리랭커 선정	FlashRank 도입
105	Redis 사용 현황 및 ElastiCache 연동	ElastiCache 마이그레이션 가이드

ADR 106-110 (LCEL 아키텍처 고도화)

#	제목	결정
106	RAG 파이프라인 고도화 로드맵	LCEL > 고급 리트리버 > RAPTOR 순서
107	Docker Compose 동시성 확장	Gunicorn 4 워커 (deploy.replicas 대체)
108	Celery Fallback 전략	Redis 실패 시 asyncio.create_task() 자동 전환
109	요약 체인 선택 전략	stuff/map-reduce/map-refine/CoD 길이별 선택
110	LCEL 고급 문법 전면 도입	Runnable 객체 조합 도입

ADR 111-115 (모델 평가 및 ML 파이프라인)

#	제목	결정
111	언어모델 유형별 적용 전략	MLM→리랭킹, 자기회귀→생성, 트랜스포머→임베딩
112	AI 평가 고도화 전략	다중 평가 지표 + Langfuse CI/CD 자동화
113	Langfuse 기반 RAG 평가 고도화	휴리스틱→쌍비교→온라인 샘플링 + RAGAS
114	ML 파이프라인 배치 전략	Dev 학습 / Prod 추론 완전 분리
115	SageMaker Managed Instance 전략	일회성 학습 + 상시 추론 비용 최적화

ADR 116-120 (SageMaker 자동화 전략)

#	제목	결정
116	SageMaker 자동화 도구 비교	Training/Pipelines/AMT/Experiments 도입, Autopilot 제외
117	SageMaker Pipelines vs Airflow	SageMaker Pipelines 선택
118	SageMaker AMT 도입	Pipeline TuningStep (Bayesian Optimization)
119	ECR 기반 학습 컨테이너 관리	ECR 커스텀 이미지, JumpStart 미사용
120	SageMaker Experiments 도입	Dev 학습(Experiments) + Prod 추론(Langfuse) 역할 분리

ADR 121-125 (안정성 및 코드 품질)

#	제목	결정
121	SSE Keepalive 전략	300→180초 단축, Nginx/Gunicorn 타임아웃 대응
122	VectorDB→S3 Celery 동기화	배치 크기 조정 + 재시도 로직 추가
123	Gunicorn 세션 파일 락	threading.Lock → FileLock 교체
124	LLM 응답 헬퍼 추출	헬퍼 추출 + Silent Failure 제거
125	Few-shot 거리 완화 및 프롬프트 외부화	Few-shot 최적화 + 프롬프트 외부화

ADR 126-130 (고가용성 및 마이그레이션)

#	제목	결정
126	Redis HA 전략	ElastiCache Replication Group (자동 페일오버)
127	SSE 연결 해제 감지	is_disconnected() + CancelledError (리소스 누수 방지)
128	폴링 힌트 추가	202 응답에 interval_ms/max_attempts 포함
129	인터뷰 라우트 코드 품질 고도화	헬퍼 함수·캐싱·외부화 리팩토링
130	FileTaskStore → RedisTaskStore 마이그레이션	k8s 멀티 파드 상태 공유

ADR 131-135 (시스템 고도화 및 완성)

#	제목	결정
131	Tavily 결과 신뢰성 검증	도메인/날짜/스니펫 기반 필터링
132	세션 스토어·태스크 큐 Redis 마이그레이션	Redis 통합 (k8s 확장성 보장)
133	SageMaker Celery Worker 배치 전략	sagemaker_sync 큐 전용 워커 격리
134	BM25+MMR 앙상블 가시성 확보	Langfuse span 추가 (앙상블 성능 추적)
135	비동기 작업 완료 알림 전략	Webhook 우선 + 폴링 폴백

🎯 V3 핵심 기술 결정

Embedding 전략 (ADR-021)

✅ Gemini Embedding 단일 모델 (벡터 공간 통일)
✅ BM25 + Vector Hybrid Search (정확도 10~15% 향상)
❌ SBERT 자체 서빙 제외 (호환성 문제)

RAG 최적화 (ADR-020, ADR-021)

BM25 (키워드 30%) + Gemini Embedding (의미 70%)
  ↓
Hybrid Search (20개)
  ↓
Cohere Reranker (3개)
  ↓
LLM

비용 절감 (ADR-023)

✅ Question Pool + RAG Fallback
✅ 캐시 히트율 80% → 비용 80% 절감 ($7.5 → $1.5/월)

AI Wiki - 100-hours-a-week/9-team-Devths-WIKI GitHub Wiki

Devths AI/ML Engineering Wiki

📚 목차

프로젝트 개요

시스템 설계

설계 과제 (단계 1~8)

기술 의사결정 (ADR)

🚀 주요 AI 기능

🛠 기술 스택

📋 ADR 요약

ADR 001-010 (기본 아키텍처)

ADR 011-020 (고급 기능)

ADR 021-025 (최적화) ⭐ NEW

ADR 041-045 (인프라 확장) ⭐ NEW

ADR 046-050 (비동기 최적화)

ADR 051-055 (파이프라인 고도화)

ADR 056-060 (RAG 확장)

ADR 061-065 (보안 및 DB 연동)

ADR 066-070 (리트리버 전략)

ADR 071-075 (고급 리트리버 도입)

ADR 081-085 (SageMaker 도입)

ADR 086-090 (LLM 최적화 및 MLOps)

ADR 091-095 (OSS LLM 및 평가 전략)

ADR 096-100 (인프라 및 운영 최적화)

ADR 101-105 (기능 고도화)

ADR 106-110 (LCEL 아키텍처 고도화)

ADR 111-115 (모델 평가 및 ML 파이프라인)

ADR 116-120 (SageMaker 자동화 전략)

ADR 121-125 (안정성 및 코드 품질)

ADR 126-130 (고가용성 및 마이그레이션)

ADR 131-135 (시스템 고도화 및 완성)

🎯 V3 핵심 기술 결정

Embedding 전략 (ADR-021)

RAG 최적화 (ADR-020, ADR-021)

비용 절감 (ADR-023)

⚠️ GitHub.com Fallback ⚠️

AI Wiki - 100-hours-a-week/9-team-Devths-WIKI GitHub Wiki

Devths AI/ML Engineering Wiki

📚 목차

프로젝트 개요

시스템 설계

설계 과제 (단계 1~8)

기술 의사결정 (ADR)

🚀 주요 AI 기능

🛠 기술 스택

📋 ADR 요약

ADR 001-010 (기본 아키텍처)

ADR 011-020 (고급 기능)

ADR 021-025 (최적화) ⭐ NEW

ADR 041-045 (인프라 확장) ⭐ NEW

ADR 046-050 (비동기 최적화)

ADR 051-055 (파이프라인 고도화)

ADR 056-060 (RAG 확장)

ADR 061-065 (보안 및 DB 연동)

ADR 066-070 (리트리버 전략)

ADR 071-075 (고급 리트리버 도입)

ADR 081-085 (SageMaker 도입)

ADR 086-090 (LLM 최적화 및 MLOps)

ADR 091-095 (OSS LLM 및 평가 전략)

ADR 096-100 (인프라 및 운영 최적화)

ADR 101-105 (기능 고도화)

ADR 106-110 (LCEL 아키텍처 고도화)

ADR 111-115 (모델 평가 및 ML 파이프라인)

ADR 116-120 (SageMaker 자동화 전략)

ADR 121-125 (안정성 및 코드 품질)

ADR 126-130 (고가용성 및 마이그레이션)

ADR 131-135 (시스템 고도화 및 완성)

🎯 V3 핵심 기술 결정

Embedding 전략 (ADR-021)

RAG 최적화 (ADR-020, ADR-021)

비용 절감 (ADR-023)

⚠️ **GitHub.com Fallback** ⚠️

⚠️ GitHub.com Fallback ⚠️