MVP Loadtest Preparation - 100-hours-a-week/3-team-ssammu-wiki GitHub Wiki

πŸ“Š MVP 단계 λΆ€ν•˜ ν…ŒμŠ€νŠΈ μ „ λͺ¨λ‹ˆν„°λ§ 리포트

1. κ°œμš”

λ³Έ λ¬Έμ„œλŠ” 개발 μ„œλ²„μ˜ λΆ€ν•˜ ν…ŒμŠ€νŠΈ μ „ 사전 μƒνƒœλ₯Ό κΈ°λ‘ν•˜κ³ , ν˜„μž¬μ˜ μžμ› μ‚¬μš©λ₯  및 μ‹€μ œ μ„œλΉ„μŠ€ μ‚¬μš© 흐름을 κ³ λ €ν•  λ•Œ ν…ŒμŠ€νŠΈ ν™˜κ²½μ΄ μΆ©λΆ„νžˆ μ€€λΉ„λ˜μ—ˆμŒμ„ μ„€λͺ…ν•©λ‹ˆλ‹€.

2. λͺ¨λ‹ˆν„°λ§ μ§€ν‘œ 뢄석 (Google Cloud Monitoring 기반)

image

  • μ²¨λΆ€λœ λͺ¨λ‹ˆν„°λ§ 데이터(ssmu-dev-monitor-overview) κΈ°μ€€:
ν•­λͺ© 수치 (2025.05.19 13:30 κΈ°μ€€) 뢄석 λ‚΄μš©
GPU Util (%) 96.66% vLLM λͺ¨λΈ λ‘œλ”© μ™„λ£Œ ν›„ GPUκ°€ μƒμ‹œ ν™œμ„±ν™”λœ μƒνƒœ. 정상
Memory Util (%) 24.11% 전체 λ©”λͺ¨λ¦¬ λŒ€λΉ„ μ—¬μœ  곡간 μΆ©λΆ„
CPU Util (%) β‰ˆ 0% vLLM λ―Έμ‚¬μš© μ‹œ CPU λΆ€λ‹΄ 거의 μ—†μŒ
Server Error 0.01667/s (μΌμ‹œμ  슀파이크) API 경둜 초기 ν…ŒμŠ€νŠΈλ‘œ μΈν•œ μΌμ‹œμ  응닡 μ‹€νŒ¨ μΆ”μ •. 지속적 였λ₯˜ μ—†μŒ

βœ… μ „μ²΄μ μœΌλ‘œ GPU λ¦¬μ†ŒμŠ€λ§Œ κ³ μ • 점유 쀑이며, λ‚˜λ¨Έμ§€ μ‹œμŠ€ν…œ μžμ›(CPU, Memory)은 λͺ¨λ‘ μ•ˆμ •μ μΈ μƒνƒœλ‘œ 확인됨


3. vLLM의 μ—­ν•  및 μ‹€μ œ μ‚¬μš© μ—¬λΆ€

  • ν˜„μž¬ MVP λ‹¨κ³„μ˜ CareerBee μ„œλΉ„μŠ€λŠ” μ‚¬μš©μž 흐름 κΈ°μ€€μ—μ„œ vLLM 기반 κΈ°λŠ₯을 μ‚¬μš©ν•˜μ§€ μ•ŠμŒ
  • vLLM은 λ°±μ—”λ“œ λ°°μΉ˜μ„± μž‘μ—…(예: λ‰΄μŠ€ μš”μ•½)μ—μ„œλ§Œ μ£Ό 1회 호좜됨
  • μ‹€μ œ μœ μ €μ˜ νŠΈλž˜ν”½μ€ 둜그인, 지도 쑰회, κΈ°μ—… 검색, λ‰΄μŠ€ 쑰회 등에 μ§‘μ€‘λ˜μ–΄ 있음

4. λΆ€ν•˜ ν…ŒμŠ€νŠΈ ν™˜κ²½μ˜ μ•ˆμ •μ„± 평가

  • vLLM의 GPU κ³ μ • μ μœ λŠ” λΉ„μ¦ˆλ‹ˆμŠ€ 둜직과 λ…λ¦½λ˜λ―€λ‘œ, λ©”λͺ¨λ¦¬/CPU 기반의 μ£Όμš” νŠΈλž˜ν”½μ— 영ν–₯ μ—†μŒ
  • Memory Util 및 CPU Util λͺ¨λ‘ 25% μ΄ν•˜λ‘œ μΆ©λΆ„ν•œ μ—¬μœ  μžμ› 확보
  • μ„œλ²„λŠ” 정상 λΆ€νŒ…, 둜그 기둝 및 API 응닡 μ€€λΉ„ μƒνƒœλ₯Ό μœ μ§€

5. κ²°λ‘ 

  • ν˜„μž¬ μ‹œμŠ€ν…œ μƒνƒœλŠ” λΆ€ν•˜ ν…ŒμŠ€νŠΈ μˆ˜ν–‰ μ „, μ„±λŠ₯적 병λͺ© μš”μΈμ΄ μ‘΄μž¬ν•˜μ§€ μ•ŠλŠ” μƒνƒœ
  • 특히 vLLM κ΄€λ ¨ κΈ°λŠ₯이 ν…ŒμŠ€νŠΈ λ²”μœ„ μ™Έ κΈ°λŠ₯이기 λ•Œλ¬Έμ—, MVP κΈ°λŠ₯ κΈ°μ€€μœΌλ‘œλŠ” μΆ©λΆ„ν•œ λΆ€ν•˜ ν…ŒμŠ€νŠΈ ν™˜κ²½μ΄ ν™•λ³΄λœ μƒνƒœμž„

πŸ“Œ λ³Έ νŽ˜μ΄μ§€λŠ” 2025λ…„ 5μ›” 27일에 λ§ˆμ§€λ§‰μœΌλ‘œ μ—…λ°μ΄νŠΈλ˜μ—ˆμŠ΅λ‹ˆλ‹€.