• 1. 기존 모델 추론 성능 지표
• 2. 식별된 성능 병목 요소 및 원인 분석
• 3. 적용할 최적화 기법의 구체적 계획
• 4. 최적화 적용 후의 기대 성능 지표

장소 추천 시스템에서 유사한 장소 키워드를 추천하기 위해,
사용자 입력에서 추출된 키워드를 벡터화하여 DB 내 키워드 벡터와 의미 기반 유사도를 비교하는 구조를 채택함.
이에 따라 임베딩 벡터 품질, 문맥 유사도, 메모리 효율성을 기준으로 4종의 임베딩 모델을 비교 평가함.

테스트는 Colab CPU 환경에서 수행되었으며,
모든 모델은 키워드 10개 내외의 짧은 입력에 대해 encode() 수행 시 실시간 처리 가능 여부를 확인함.

• 실제 서비스는 짧은 키워드 기반의 실시간 벡터 검색이 중심이므로,
  경량 구조와 빠른 추론 성능을 보장하는 MiniLM 계열을 우선 선정함
• 한국어 표현력 강화를 위한 비교군으로, 국내에서 성능이 입증된 한국어 특화 모델인 KR-SBERT를 포함함
• 다국어 대응력 또는 검색 응답 최적화에 초점을 둔 distiluse-multilingual, multi-qa-MiniLM도 후보군에 포함함

모델명	기반 아키텍처	언어 지원	학습 목적	파라미터 수 (대략)	특이 사항
paraphrase-MiniLM-L6-v2	MiniLM (Transformer)	영어	Paraphrase, STS	~22M	경량 구조, 빠른 응답
multi-qa-MiniLM-L6-cos-v1	MiniLM	영어	QA 검색 최적화	~22M	QA 특화, 일반 유사도 약함
KR-SBERT-V40K-klueNLI-augSTS	KoBERT + SBERT	한국어	NLI, STS	~110M	한국어 문맥 표현에 강함
distiluse-base-multilingual-cased-v1	DistilBERT + USE	다국어	STS	~66M	언어 범용성, 성능은 평균적

모델명	평균 Cosine 유사도	평균 L2 유사도	정성 평가	CPU 메모리 사용량 (MB)
paraphrase-MiniLM-L6-v2	0.9759	0.3843	⚠️ 유사 형태 위주 매칭	36.02
multi-qa-MiniLM-L6-cos-v1	0.8879	0.8297	⚠️ 유사 형태 위주 매칭	37.20
KR-SBERT-V40K-klueNLI-augSTS	0.7796	0.1043	✅ 한국어 문맥 이해도 우수	332.20
distiluse-base-multilingual-cased-v1	0.7871	0.7567	❌ 표현력 불안정	165.45

입력 키워드	MiniLM-L6-v2	KR-SBERT	multi-qa-MiniLM	distiluse-multilingual
24시간 카페	24시간 카페 (✅ 1.00)	24시간 카페 (✅ 1.00)	24시간 카페 (✅ 1.00)	24시간 카페 (✅ 1.00)
감성 좋은 카페	감성 카페 (✅ 0.99)	감성 카페 (✅ 0.83)	감성 카페 (✅ 0.98)	경치 좋은 카페 (⚠️ 0.96)
강아지 동반 카페	조용한 동네 카페 (⚠️ 0.98)	반려동물동반 (✅ 0.59)	공간 넓은 카페 (⚠️ 0.88)	로컬 커피 맛집 (❌ 0.69)
경치 좋은 카페	경치 좋은 카페 (✅ 1.00)	경치 좋은 카페 (✅ 1.00)	경치 좋은 카페 (✅ 1.00)	경치 좋은 카페 (✅ 1.00)

이모티콘	의미
✅	의미가 거의 동일하거나 매우 유사 (추천에 사용 가능)
⚠️	일부 유사하나 문맥 오해 가능성 있음 (주의 필요)
❌	의미 왜곡, 추천 맥락에서 부적절함 (사용 불가)

• 테스트 결과, KR-SBERT는 정성 평가에서 가장 뛰어난 문맥 해석력을 보였으며,
  특히 키워드 일반화 및 의미 치환 측면에서 실제 추천 품질에 가장 적합한 응답을 생성함
• paraphrase-MiniLM-L6-v2와 multi-qa-MiniLM은 정성 평가가 매우 유사한 수준이었으나,
  paraphrase-MiniLM은 문장 의미 유사도(STS)를 기준으로 학습된 모델로,
  장소 추천에서 요구되는 "키워드 간 의미 기반 유사도 계산" 목적에 더 적합하다고 판단됨
• 다만 본 서비스에서는 실시간성보다 추천 품질의 정밀도와 문맥 적합성이 더욱 중요하다고 판단하였고,
  AI 서버에서 다른 task는 GPU로 분리 수행하기 때문에 메모리 사용량이 다소 크더라도 수용 가능하다고 판단함
• 따라서 최종적으로는 KR-SBERT-V40K-klueNLI-augSTS를 주력 임베딩 모델로 선정하였으며,
  향후 성능-자원 균형이 필요할 경우 MiniLM-L6-v2를 보조 모델 또는 교체 모델로 고려할 수 있도록 설계함

최종 도입 모델인 KR-SBERT-V40K-klueNLI-augSTS는
정성 평가 기준으로 가장 뛰어난 문맥 해석력을 보였으며,
실제 테스트에서도 높은 추천 품질을 확인함.
그러나 서비스 관점에서 다음과 같은 병목 요소가 발견되었고, 이에 대한 개선 방향을 정리함.

KR-SBERT는 KoBERT 기반 대형 구조로, 모델 로딩 시 약 330MB 이상의 메모리를 사용함.
Jetson Orin Nano와 같은 경량 AI 서버에서 단일 모델만 운용 가능한 환경에서는
다른 AI 기능(예: 키워드 추출, 요약 등)과 병행 운용이 어려울 수 있음.

💡 개선 방향

• GPU 기반 병렬 구조를 통해 주요 추론 기능을 분산
• 추론 서버 메모리 상황에 따라, 모델 실행 우선순위 설정 또는 프로세스 순환 관리
• 성능 최적화가 필요한 경우 MiniLM 기반 경량 모델과의 교대 운용 고려 (예: 저사양 fallback)

KR-SBERT는 문맥적으로 유사한 키워드를 잘 추출하지만,
임베딩 벡터 간 cosine 유사도 점수는 전반적으로 낮은 범위(0.7~0.9)에 밀집됨.
이로 인해 추천 후보 정렬 시 점수 차이가 뚜렷하지 않거나, 의미보다 숫자에 의존한 왜곡이 발생할 수 있음.

💡 개선 방향

• cosine 유사도 대신 실제 정량 평가에서 평균이 매우 낮았던 L2 거리 기반 유사도 계산 방식으로 전환
• 임베딩 모델별 벡터 분포 특성을 고려하여, 유사도 지표를 유연하게 선택하는 구조 설계

최종 선정된 임베딩 모델 KR-SBERT-V40K-klueNLI-augSTS는
문맥 해석력과 의미 확장 측면에서 우수한 성능을 보였으나,
실시간 처리, 메모리 사용량, 검색 효율성 등에서의 운영 최적화를 위해 다음과 같은 단계별 전략을 적용함.

• 벡터 생성 효율화: 실시간 키워드 매칭을 0.1초 이내 처리
• 검색 정밀도 유지: 의미 유사성 기반 추천 품질 보존
• 리소스 절약: 메모리 사용량 최소화 + 중복 벡터 생성 방지

🔹 1단계: 장소 키워드 벡터 사전 구축 및 인덱스 최적화

• 장소 키워드 목록을 사전 임베딩하여 서버 기동 시 벡터 DB에 적재
• 벡터 저장 구조는 FAISS 기반 FlatL2 인덱스를 우선 사용
• 이후 대용량 전환 시 Product Quantization (PQ) 방식 적용 고려
  → 벡터를 압축 저장하여 메모리 사용량을 최대 10~30배 절감 가능
  → 근사 검색 기반으로 속도 향상, 정확한 정렬은 재검색으로 보완

🔹 2단계: 유사도 계산 기준 개선 및 soft-filter 도입

• KR-SBERT는 cosine 유사도가 낮게 분포되며 순위 정렬에 한계 발생
  → L2 거리 기반 유사도 점수로 전환하여 안정성 확보
• 유사도 기준은 soft-filter 방식으로 보완:
  → 일정 거리 이하(예: L2 유사도 ≥ 0.7)는 추천, 그 외는 fallback 후보로 활용

🔹 3단계: 임베딩 처리 구조의 효율적 배치 및 캐시 활용

• 실시간 사용자 입력만 임베딩 처리, 장소 키워드는 서버 기동 시 캐싱
• 임베딩 캐시는 동일 사용자 쿼리에 대해 중복 encode 방지를 위한 구조로 활용
• 메모리 최적화를 위해 float16 전환, 또는 ONNX 기반 추론 구조 전환 가능
• 멀티 인스턴스 환경에서의 확장을 대비하여, 임베딩 추론 로직을 마이크로서비스화하여 재사용성과 유연성 확보

---

임베딩 모델 KR-SBERT-V40K-klueNLI-augSTS는
기본적으로 입력 임베딩 속도가 빠른 편이며(0.09초 이내),
최적화의 핵심은 중복 계산 제거, 메모리 절감, 유사도 기준 개선에 있음.
아래는 최적화 전략 적용 후 기대되는 성능 변화 지표임.

항목	기존 성능	최적화 적용 기대 성능
사용자 입력 임베딩 속도	평균 0.02 ~ 0.09초	동일 수준 유지 (속도 병목 없음)
메모리 사용량	36MB ~ 332MB	중복 계산 제거 및 float16 최적화로 절감 기대
장소 키워드 임베딩	매 요청 시 재계산	사전 벡터 구축 + 메모리 상시 로딩 구조
유사도 계산 정확도	Cosine 기반으로 의미 왜곡 가능	L2 기준 도입으로 문맥 정렬 안정성 향상
추천 품질 일관성	점수 밀집 → 순위 판단 어려움	L2 거리 기반 soft-filter로 후보 선별 명확화
검색 응답 시간	평균 1.0~2.0초	< 0.5초 (벡터 저장 + 실시간 비교 구조)

ℹ️ 사용자 입력 임베딩 속도는 모델 종류에 따라 평균 0.02 ~ 0.09초로 측정되었으며,
이는 실시간 처리에 충분하다고 판단됨.
최적화의 초점은 속도 개선보다 중복 계산 방지 및 메모리 효율성 향상에 두고 있으며,
특히 장소 키워드는 사전 벡터화하여 로딩 지연 없이 응답 처리 가능하도록 구조화함.