MVP Loadtest Preparation - 100-hours-a-week/3-team-ssammu-wiki GitHub Wiki
π MVP λ¨κ³ λΆν ν μ€νΈ μ λͺ¨λν°λ§ 리ν¬νΈ
1. κ°μ
λ³Έ λ¬Έμλ κ°λ° μλ²μ λΆν ν μ€νΈ μ μ¬μ μνλ₯Ό κΈ°λ‘νκ³ , νμ¬μ μμ μ¬μ©λ₯ λ° μ€μ μλΉμ€ μ¬μ© νλ¦μ κ³ λ €ν λ ν μ€νΈ νκ²½μ΄ μΆ©λΆν μ€λΉλμμμ μ€λͺ ν©λλ€.
2. λͺ¨λν°λ§ μ§ν λΆμ (Google Cloud Monitoring κΈ°λ°)
- 첨λΆλ λͺ¨λν°λ§ λ°μ΄ν°(
ssmu-dev-monitor-overview
) κΈ°μ€:
νλͺ© | μμΉ (2025.05.19 13:30 κΈ°μ€) | λΆμ λ΄μ© |
---|---|---|
GPU Util (%) | 96.66% | vLLM λͺ¨λΈ λ‘λ© μλ£ ν GPUκ° μμ νμ±νλ μν. μ μ |
Memory Util (%) | 24.11% | μ 체 λ©λͺ¨λ¦¬ λλΉ μ¬μ κ³΅κ° μΆ©λΆ |
CPU Util (%) | β 0% | vLLM λ―Έμ¬μ© μ CPU λΆλ΄ κ±°μ μμ |
Server Error | 0.01667/s (μΌμμ μ€νμ΄ν¬) | API κ²½λ‘ μ΄κΈ° ν μ€νΈλ‘ μΈν μΌμμ μλ΅ μ€ν¨ μΆμ . μ§μμ μ€λ₯ μμ |
β μ 체μ μΌλ‘ GPU 리μμ€λ§ κ³ μ μ μ μ€μ΄λ©°, λλ¨Έμ§ μμ€ν μμ(CPU, Memory)μ λͺ¨λ μμ μ μΈ μνλ‘ νμΈλ¨
3. vLLMμ μν λ° μ€μ μ¬μ© μ¬λΆ
- νμ¬ MVP λ¨κ³μ CareerBee μλΉμ€λ μ¬μ©μ νλ¦ κΈ°μ€μμ vLLM κΈ°λ° κΈ°λ₯μ μ¬μ©νμ§ μμ
- vLLMμ λ°±μλ λ°°μΉμ± μμ (μ: λ΄μ€ μμ½)μμλ§ μ£Ό 1ν νΈμΆλ¨
- μ€μ μ μ μ νΈλν½μ λ‘κ·ΈμΈ, μ§λ μ‘°ν, κΈ°μ κ²μ, λ΄μ€ μ‘°ν λ±μ μ§μ€λμ΄ μμ
4. λΆν ν μ€νΈ νκ²½μ μμ μ± νκ°
- vLLMμ GPU κ³ μ μ μ λ λΉμ¦λμ€ λ‘μ§κ³Ό λ 립λλ―λ‘, λ©λͺ¨λ¦¬/CPU κΈ°λ°μ μ£Όμ νΈλν½μ μν₯ μμ
- Memory Util λ° CPU Util λͺ¨λ 25% μ΄νλ‘ μΆ©λΆν μ¬μ μμ ν보
- μλ²λ μ μ λΆν , λ‘κ·Έ κΈ°λ‘ λ° API μλ΅ μ€λΉ μνλ₯Ό μ μ§
5. κ²°λ‘
- νμ¬ μμ€ν μνλ λΆν ν μ€νΈ μν μ , μ±λ₯μ λ³λͺ© μμΈμ΄ μ‘΄μ¬νμ§ μλ μν
- νΉν vLLM κ΄λ ¨ κΈ°λ₯μ΄ ν μ€νΈ λ²μ μΈ κΈ°λ₯μ΄κΈ° λλ¬Έμ, MVP κΈ°λ₯ κΈ°μ€μΌλ‘λ μΆ©λΆν λΆν ν μ€νΈ νκ²½μ΄ ν보λ μνμ
π λ³Έ νμ΄μ§λ 2025λ 5μ 27μΌμ λ§μ§λ§μΌλ‘ μ λ°μ΄νΈλμμ΅λλ€.