2,400개 외부 평가 01: 현재 모델은 개선을 입증하지 못함

English · 고정 계획 · 전체 집계

실제 2,400개 질문/코드 쌍을 평가했다. 기존 24개 합성 실험에서 24/24였던 모델도 이 외부 자료에서는 실사용 개선을 입증하지 못했다. 모든 모델의 승격을 보류한다. 이 결과는 관련성 분류 시험이며 저장소 선택·후보 검색·LLM 비용 절감 평가가 아니다.

분리와 평가 절차

앞서 감사한 CoSQA 원천 SHA256을 고정했다. 질문은 소문자/공백 정규화, 코드는 공백 연속을 하나로 정규화하여 동일 질문 또는 동일 코드로 연결된 사례를 같은 그룹에 넣었다. 코드 공백 정규화는 문자열 안의 공백도 합칠 수 있어 보수적으로 다른 코드를 같은 그룹으로 묶을 수 있다. 변수명 변경 등 모든 의미 복제 탐지를 보장하지 않는다. 저장소 메타데이터가 없어 저장소 단위 분리를 주장하지 않는다.

그룹 대표 해시와 고정 seed로 순서를 정하고, 라벨·길이·모델 점수와 무관하게 분할했다. 최종 최소 2,400개를 충족한 뒤 다음 그룹으로 넘어갔으며 그룹을 쪼개지 않았다.

분할	질문/코드 쌍	연결 그룹	이번 사용
development	12,189	3,754	BM25 문서 통계만; 모델 가중치 학습 없음
validation	607	175	사용 안 함
calibration	604	176	관련/비관련 임계값 선택
final	2,400	724	이번 평가
reserve1	2,403	716	모델 평가·학습 안 함
reserve2	2,401	722	모델 평가·학습 안 함

reserve도 그룹 생성/해시 검증을 위해 원문 파일에서 읽지만, 특징 학습·점수 계산·성능 선택에는 쓰지 않았다. ‘파일을 한 번도 읽지 않았다’는 뜻은 아니다. 다음 모델 학습에는 development만, 선택에는 validation, 임계값에는 calibration을 사용할 수 있다. 이번 final은 이제 관찰된 개발 증거로 간주한다.

현재 synthetic 모델 8개의 해시와 계획·원천·분할을 freeze 단계에서 고정하고 evaluate 단계에서 재계산해 동일성을 확인한 다음 점수를 냈다. 최종 쌍은 관련 1,171 / 비관련 1,229개다. CoSQA에서 모델 가중치를 학습하지 않았지만 604개 라벨로 임계값을 정했으므로 완전 무보정 zero-shot 분류라고 부르지 않는다.

결과

균형 정확도는 관련/비관련 두 종류의 정답률을 각각 구한 뒤 평균한 값이다. 모든 2,400개를 포함하며 모델 입력 한도를 넘은 151개(6.29%)는 BM25와 그 보정 임계값으로 복귀했다. 이 자료에 맞지 않는 짧은/긴 입력을 골라 버리지 않았다.

방법	균형 정확도	BM25 대비 차이의 95% 구간
BM25	52.62%	기준
단어 교집합	53.22%	−1.19 ~ +2.43%p
FP32 seed1729	54.15%	−0.31 ~ +3.31%p
INT8 seed1729	54.31%	−0.17 ~ +3.49%p
FP32 seed2718	54.19%	−0.31 ~ +3.34%p
INT8 seed2718	54.09%	−0.39 ~ +3.22%p
3진 PTQ seed1729	49.81%	−5.45 ~ −0.28%p
3진 STE seed1729	49.61%	−5.39 ~ −0.84%p
3진 PTQ seed2718	50.05%	−5.19 ~ +0.002%p
3진 STE seed2718	51.36%	−3.87 ~ +1.38%p

같은 724개 그룹을 쌍으로 재표집하는 500회 bootstrap의 percentile 구간이다. 2,400개 독립 표본이라고 가정하지 않는다. 그룹 안 상관관계를 반영하지만 남아 있는 그룹 간 의미 유사성, 출처 편향, 8모델 동시 관찰에 대한 다중 비교 보정은 해결하지 않는다. 모두 하한이 0 이하라 사전의 양수 하한 기준을 통과한 모델이 없다. 3진 일부는 BM25보다 낮은 쪽의 구간이다.

전체 정확도·혼동행렬·정밀도·재현율·AUC와 범위 안/밖 하위 결과는 JSON에 있다. 모델의 EligibleAUC는 범위 안 2,249개에만 해당하므로 BM25 전체 2,400개 AUC와 바로 비교하지 않는다. InScopeMetrics를 쓰면 같은 2,249개를 비교할 수 있다. 원시 모델 점수는 확률이 아니다.

측정·재현

• 선택 모델과 raw source의 해시를 검증했다. frozen manifest SHA256: 19001225d9af3dc59ab474ff37313fbe82673d4a5b5c425f43941c63095998a8.
• 재실행의 사례별 출력이 처음 실행과 byte 단위로 동일했다. 사례별 추적은 원문·라벨 재배포를 피하기 위해 로컬에만 남기고, 공개 결과에는 trace hash와 집계를 싣는다.
• Apple M4 Pro / Go1.27.1 / CPU. 첫 전체 프로세스 wall0.78초, userCPU0.43초, 최대RSS61,521,920B(58.67MiB), swap0. 원천 로딩·분할 재확인·8모델·2기준선·bootstrap를 포함한 평가 도구 비용이며 단일 추론 latency나 에이전트 전체 메모리가 아니다. 공개 JSON Seconds는 로딩 이후 구간이라 OS wall과 다르다.

mkdir -p .cache/pair-eval
# 원천과 기존 로컬 학습 모델은 앞 문서의 pinned 절차로 준비한다.
go run ./cmd/riido-paireval --input .cache/semantic-scale/cosqa-all.json \
  --selection .cache/semantic-learning/local-train/selection.json \
  --out .cache/pair-eval/frozen
go run ./cmd/riido-paireval --stage evaluate \
  --input .cache/semantic-scale/cosqa-all.json \
  --selection .cache/semantic-learning/local-train/selection.json \
  --frozen .cache/pair-eval/frozen/frozen.json --out .cache/pair-eval/evaluated

폴더는 새 것이어야 한다. 학습 재실행의 시간 필드가 다르면 selection/frozen hash는 달라질 수 있지만 모델 계수 해시와 동일 입력의 사례별 결과는 확인할 수 있다. 종료 코드 0은 측정 성공이며 모델 품질 합격을 뜻하지 않는다. 모든 결과 Promotion=false.

다음 PDCA

작은 모델의 구조가 불가능하다는 결론도 아직 이르다. 지금 가중치는 retain/discard 합성 자료로만 학습했으므로 외부 코드 질의에 맞는 학습이 필요하다. development 12,189개와 validation607개를 사용해 실제 관련성 학습과 비학습 대조군을 비교하고, 선택·보정을 마친 뒤 reserve1의 2,403개를 한 번 평가한다. 현재 final을 보고 hyperparameter를 다시 골라 같은 final에서 개선을 주장하지 않는다. 실제 후보 검색 자료와 사용자 작업 검증은 이 분류 시험과 별도로 계속 필요하다. 이번 실패 모델을 실사용 권장하거나 자동 적용하지 않는다.