원본 Laya 코드 모델의 검증 평가 19

원본 가중치를 FP32로 실행해도 현재 관련성 검증 기준을 통과하지 못했다. 정상 순서 AUC는 0.5008, 같은 질문의 INT8은 0.5040, BM25는 0.5378이다. 현재 체크포인트·입력 형식·과제에서 INT8 변환만 제거한다고 성능이 개선된다는 근거가 없다. 현재 헤드의 출력값을 그대로 증류용 정답으로 채택하지 않는다.

비교 조건

계획을 추론 전에 커밋하고 고정했다. 실험 17b와 동일한 CoSQA 원천·그룹 분리·검증 607개를 사용했다. 기존 4,096바이트/64단어 범위에 맞는 서로 다른 질문 553개만 추론했고 54개는 범위 밖이었다. 추가 토크나이저 제외는 없었다. 질문마다 두 선택지 순서로 실행한 1,106회는 질문 1,106개를 뜻하지 않는다.

원본은 tindang/laya-code@25f97e5a2ec5f8cf7218a4f67504367d8832e1fe의 F16 저장 가중치를 FP32 CPU로 실행했다. 모델·설정·토크나이저·설치된 Laya 소스의 해시를 실험 18 명세와 대조했다. 원격 모델 저장소의 Python 코드를 실행하지 않는다.

입력은 File: [unavailable] + 코드, 질문은 Is this source code relevant to the software change: "{query}"?, 정상 선택지 순서는 false/true다. 실제 파일 경로가 없으므로 그 사실을 표시한다. 정상 순서의 true 확률이 주 지표이며 역순·평균은 진단용이다. 이 모델은 소프트웨어 변경과 코드의 관련성으로 학습됐으므로 일반 자연어 코드 검색과 과제가 같다고 가정하지 않는다.

결과

방법	정상 순서 AUC	역순 AUC	두 순서 평균 점수 AUC	순서 변경 시 판단 불일치
원본 FP32, 이번 실험	0.5008	0.5212	0.5167	211/553
INT8, 고정된 실험 17b	0.5040	0.5277	0.5214	217/553
BM25, 동일 대상	0.5378	해당 없음	해당 없음	해당 없음

AUC는 관련/비관련 항목의 순서를 얼마나 구분하는지 측정하며 0.5 부근은 이 구분이 거의 되지 않는 상태다. 두 모델 모두 사전 기준 AUC≥0.60 및 BM25 대비 +0.03을 충족하지 않는다. FP32와 INT8 간 작은 차이에 통계적 우열을 주장하지 않는다. 여러 실험에 사용한 검증 자료이며 독립적인 최종 시험도 아니다.

입력·정답·실행 분리

• Go가 전체 원천 해시와 그룹 분리를 확인하고 검증 대상만 추출한다. Python에 보내는 파일에는 질문·코드·토큰·선택지·잘림 여부가 있고 정답 라벨은 없다.
• Python은 1,106개 입력 전체를 upstream build_sequence로 다시 구성한다. Go 토큰·선택지 위치와 모두 일치해야 첫 추론을 시작한다. 이번 실행은 1,106/1,106 일치했다.
• Python은 원본 모델의 점수만 로컬 파일에 기록한다. Go는 원래 원천에서 입력을 재생성해 파일 전체 바이트, 순서별 요청 해시, 모델·계획·분리 명세를 대조하고 기존 평가 코드로 집계한다.
• BM25 통계는 개발 분할만 사용한다. reserve는 전체 해시·분리 확인을 위해 읽지만 모델 추론·학습·성능 선택에 사용하지 않는다. 원문·개별 점수 파일은 Git/HF에 올리지 않는다.

Go 집계를 다시 실행해 시간 외 결과가 동일함을 확인했다. 원본 모델 추론 전체를 두 번 실행한 것은 아니다. 단위 검사는 검증 분할·범위 밖 제외, 선택지 순서, 변경된 요청과 잘림 정보 거부, 점수 재사용 거부를 확인한다.

비용과 재현

Apple M4 Pro, macOS ARM64, CPU 4스레드, 최대 512토큰. Python 참조의 외부 wall 85.46초, user CPU 163.06초, 최대 RSS 3,009,675,264바이트(약 2.80GiB). 내부 측정 83.974초에는 모델 준비와 1,106회 추론 등이 포함된다. 15분·8GiB RSS 제한은 호출 사이에 확인하며 강제적인 호출 내부 제한은 아니다.

호출 중앙값 70.444ms, p95 96.377ms는 Python의 텐서 준비·FP32 실행·확률 계산 구간이다. INT8 실험의 Go 토큰화 포함 호출 시간과 경계가 달라 정밀한 속도 비교에 사용하지 않는다. 결과의 Report.ProbeSeconds는 저장된 점수를 Go로 재생·집계한 시간이며 모델 추론 시간이 아니다. CPU 시험이며 GPU·MPS 성능을 주장하지 않는다.

go run ./cmd/riido-sourceprobe --stage prepare
python scripts/training/laya_original_validation.py --requests .cache/source19-requests.json --source-dir .cache/laya-code-source-18 --out .cache/source19-scores.json
go run ./cmd/riido-sourceprobe --stage evaluate

원본 파일 준비와 maintainer 환경은 실험 18을 따른다. Python은 원본 모델 비교용 유지관리 도구이며 사용자 런타임에는 추가하지 않는다. 재준비·재추론은 새 출력 경로를 사용한다. sourceprobe의 --requests·--scores와 Python의 --requests·--out을 맞춘다. 집계 결과에 해시·버전·측정값을 기록했다.

다음 방향은 과제에 맞는 주장 학습이다. 현재 코드 헤드의 점수가 유용하다고 전제한 증류는 보류한다. 원본 임베딩의 가능성, 다른 학습 과제, 실제 변경 작업의 후보 순위 도움은 이번 이진 관련성 시험으로 판정하지 않았다. 미사용 2,403개·2,401개 reserve는 다음 후보가 검증 기준을 충족할 때까지 보존한다. 기본 동작 변경·신규 모델 학습·HF 모델 배포는 없다.

Source: PR #42. Native evidence is local; Exact-head CI passed macOS, Linux, secrets and quality. Merged as f73fd7f78e54a33febbe7a0861154e6aff327f5b; software CI does not make the model-quality gate pass.