📊 KULLM3 vs Qwen 성능 비교 분석 - 100-hours-a-week/20-real-wiki GitHub Wiki

📝 질문 목록: 한국말 할 줄 알아?―우리말 잘하는 LLM

1. 한국말 할 줄 알아?

💯 평가 능력: 한국어로 대화가 가능한지 확인하기 위한 기본 질의입니다.

2. 누구냐 너

💯 평가 능력: 모델의 자기 정체성, 역할 인식, 시스템 프롬프트 반영 여부 등을 판단하기 위한 질문입니다.

3. ‘고구마’로 삼행시를 지어줘

💯 평가 능력: 모델의 창의성과 한국어 운율 기반 생성 능력을 확인하기 위한 창의 표현 요청입니다.

4. 끝말잇기를 하자. 내가 먼저 할게. 칼슘

💯 평가 능력: 한국어 단어 규칙 이해, 언어 기반 게임 규칙 적용 가능 여부 확인을 위한 테스트입니다.

5. 철수는 하루에 치킨 100마리를 튀기고 민수는 하루에 치킨 60마리를 튀긴다. 누가 더 일을 잘하지?

💯 평가 능력: 수치 기반 비교 질문을 통해 단순 판단력 또는 비판적 사고 능력을 평가하는 항목입니다.

6. 다음 텍스트를 공식적인 어조로 바꿔줘.

저번 아티클에서 저의 팀이 개발한 프로그램을 소개해 드렸어요. 이번 글에서는 구체적인 프로그램 사용법과 저희 팀에서 활용한 사례를 보여드릴게요. 저희는 다양한 콘텐츠를 제작하고 있어요. 어렵고 복잡한 내용들이 많아서 주제를 표현할 수 있는 상징적인 소재로 일러스트를 많이 만들어요. 예를 들어 '상승하는 코인 가격'을 이야기하는 콘텐츠라면, '코인이 공중에 떠다니는 모습'으로 주제를 한 장에 표현할 수 있을 것 같아요.

💯 평가 능력 : 비격식 문장을 격식체로 변환할 수 있는지, 맥락과 톤 조절 능력을 평가하기 위한 문장 스타일 변환 요청입니다.

💡 1. GPU 추론 시간 비교 (단위: 초)

번호	질문 요약	KULLM3	Qwen2.5-14B	Qwen2.5-7B
1	한국말 할 줄 알아?	4.19	12.61	0.72
2	누구냐 너	2.38	2.94	1.52
3	'고구마'로 삼행시 지어줘	3.90	2.35	3.24
4	끝말잇기 하자. 내가 먼저 할게: 칼슘	7.72	5.52	1.53
5	치킨 100마리 튀기는 철수 vs 60마리 튀기는 민수, 누가 더 잘해?	8.80	13.15	11.16
6	프로그램 소개글을 공식적인 어조로 바꿔줘	20.16	12.61	4.04

💡 2. GPU 메모리 사용량 비교 (단위: GB)

번호	질문 요약	KULLM3	Qwen2.5-14B	Qwen2.5-7B
1	한국말 할 줄 알아?	20.00 GB	27.53 GB	14.19 GB
2	누구냐 너	20.00 GB	27.54 GB	14.19 GB
3	'고구마'로 삼행시 지어줘	20.00 GB	27.53 GB	14.19 GB
4	끝말잇기 하자. 내가 먼저 할게: 칼슘	20.00 GB	27.55 GB	14.19 GB
5	치킨 100마리 튀기는 철수 vs 60마리 튀기는 민수	20.18 GB	27.57 GB	14.19 GB
6	프로그램 소개글을 공식적인 어조로 바꿔줘	20.18 GB	27.58 GB	14.19 GB

💡 3. KULLM3 vs Qwen 응답 비교

질문 6: 철수가 하루에 치킨 100마리를 튀기고, 민수가 60마리를 튀긴다면 누가 더 일을 잘하는가?

🟦 KULLM3의 응답

철수가 하루에 치킨 100마리를 튀기고 민수가 하루에 치킨 60마리를 튀긴다면, 철수가 더 많은 양의 치킨을 튀겨서 더 많은 일을 잘하고 있다고 볼 수 있습니다. 따라서 철수가 더 일을 잘한다고 할 수 있습니다.

🟩 Qwen2.5-14B-Instruct의 응답

철수와 민수가 각각 하루에 튀기는 치킨의 수만으로 일을 잘하는지 판단하기는 어렵습니다. 일을 잘하는지 평가하기 위해서는 다음 요소들을 고려해야 합니다:

품질: 치킨의 맛과 질

효율성: 자원 및 시간 사용

생산성: 작업량과 추가 책임

안전성: 작업 중 안전 여부

단순한 수치로 판단할 수 없으며, 다양한 요소를 종합적으로 고려해야 한다는 결론.

🟨 Qwen2.5-7B-Instruct (GPU)의 응답

철수와 민수가 모두 뛰어난 튀김 기술을 가졌다고 가정하면, 누가 더 효과적인지는 다음과 같은 요소에 따라 달라집니다:

생산성: 철수가 더 많이 튀김. 그러나 기계나 공간 제약 고려 필요

질과 서비스: 민수는 품질 및 고객 만족에 더 적합할 수 있음

경험과 능력: 숫자뿐 아니라 기술과 경험의 조합이 중요

효율성: 자원 사용 측면에서 철수의 대량 생산이 장점이지만, 손실 가능성도 있음

결론적으로, 다양한 요소를 고려해야 하며, 단순 수치로는 판단 불가

🧠 인사이트 요약

KULLM3: 빠르지만 단편적인 판단, 정량 비교에는 강함, 맥락 해석은 한계
Qwen2.5-14B-Instruct: 고성능이지만 무거움, 가장 논리적인 응답 제공
Qwen2.5-7B-Instruct: 응답 품질과 속도, 자원 효율성의 균형이 가장 뛰어남. 실사용에 적합한 모델로 판단됨

✅ 최종 선정 모델: Qwen2.5-7B-Instruct

저희는 여러 LLM 후보 모델(KULLM3, Qwen2.5-14B, Qwen2.5-7B)을 비교 실험한 끝에, 최종적으로 Qwen2.5-7B-Instruct를 선택하게 되었습니다.

이 모델은 가벼운 사이즈와 빠른 응답 속도, 그리고 우수한 한국어 대응 능력을 고루 갖춘 모델로, 실사용 환경에 가장 적합하다고 판단되었습니다.

✅ 선정 이유

빠른 응답 속도 (GPU 기준)
- 동일 환경에서 실험한 결과, 세 모델 중 가장 빠른 응답 속도를 보였습니다.
- 실시간 응답이 중요한 AI 어시스턴트 서비스에 매우 적합합니다.
가벼운 구조 + 우수한 품질
- 7B 크기의 모델이지만, 복합적인 질문에 대한 이해력과 응답 완성도 모두 우수했습니다.
- 특히 Qwen2.5-14B와 유사한 수준의 문장 완성도를 보이며, 서비스 품질을 충분히 만족시킬 수 있었습니다.
운영 환경에 적합한 조건 충족
- GPU 메모리 약 14.19GB 수준으로 클라우드 운영 비용 측면에서도 부담이 적습니다.
- 한국어 포함 멀티링구얼 지원, LoRA 기반 커스터마이징 가능, 128K 컨텍스트 길이 지원 등
  실 서비스 적용을 위한 조건을 모두 충족했습니다.