Laya 코드 관련성 신호 시험 17 / 17b

현재 코드용 INT8 체크포인트의 CoSQA 관련성 신호는 기준을 통과하지 못했다. 권장 참/거짓 형식의 검증 AUC는 0.5040, 같은 사례의 BM25는 0.5378이었다. 이 결과를 작은 모델에 증류할 좋은 정답 신호로 간주하지 않는다. 기존 기본 정책과 가중치는 바꾸지 않았다.

왜 두 계획이 있는가

첫 plan-17은 질문과 코드를 상태에 넣고 일반 choice로 두 설명 중 하나를 고르게 했다. 실행 중 모델 카드와 기존 검색 코드를 검토하면서, 이 코드용 파생 체크포인트가 noul 관련성 형식으로 학습됐음을 확인했다. 어느 실행의 집계 결과도 열기 전에 plan-17b를 별도로 커밋해 권장 형식 시험을 고정했다. 첫 실행을 숨기거나 동일 프로토콜로 합치지 않는다.

17b는 기존 internal/search의 질문과 선택지를 따른다:

• 상태: File: [unavailable] 뒤에 코드. CoSQA에는 실제 경로가 없어 가상의 파일명을 만들지 않는다.
• 질문: Is this source code relevant to the software change: "{query}"?
• 선택지: false: no, the statement does not hold, true: yes, the statement holds.
• 주 점수는 이 순서에서 true 확률이다. 순서를 뒤집은 실행과 두 점수의 평균은 참고 지표다.

원래 코드 모델은 소프트웨어 변경과 후보 코드의 관련성을 대상으로 한다. CoSQA 자연어 검색과 파일 경로 없는 입력은 그 학습 상황과 다르다. 이번 수치로 모든 Laya 체크포인트·FP32·잠재 임베딩의 능력을 부정하지 않는다.

범위와 결과

원천 전체를 읽어 SHA-256과 기존 분리 정보를 확인하고 개발 코드만으로 BM25 통계를 구성했다. 모델 추론은 validation에만 수행했다. 607개 검증 질문 중 기존 4,096바이트/64단어 범위에 드는 553개를 사용했고, 54개는 범위 밖이었다. 토크나이저 추가 제외는 없었다. reserve1/2와 이미 사용된 final에 모델 점수를 계산하지 않았다.

형식	주 AUC	정방향 AUC	역방향 AUC	평균 점수 AUC	순서에 따른 이진 판단 차이
17 일반 선택형 (참고)	0.5373	0.5181	0.5481	0.5373	2/553
17b 권장 noul	0.5040	0.5040	0.5277	0.5214	217/553

BM25 AUC는 두 실행 모두 0.5378이다. 17b의 순서 간 평균 절대 확률 차이는 0.2644다. 역순은 학습 시의 표준 순서가 아닌 진단이며, 이를 평균내서 성능을 골라 쓰지 않는다. 두 계획의 고정 기준 AUC≥0.60 및 BM25보다≥0.03 개선은 모두 실패했다. 외부 도메인에서 점수를 보정된 확률이나 행동 권한으로 해석하지 않는다. 반복 사용한 검증 데이터의 탐색 결과이며 최종 독립 평가가 아니다.

실행 비용과 재현

기존 code-int8-v2 모델·토크나이저·설정과 macOS ARM64 ONNX Runtime 1.30.0의 해시를 검사했다. 모델 가중치 SHA-256은 0e3665bcf1aa7d8b224af93b5e10d8c86796227f7741da92f6c8a786364a44db다. 실제 추론은 Go → ONNX Runtime CPU, 4개 스레드, 최대 512토큰으로 수행했다. MPS/GPU 실행이나 신규 학습은 아니다.

17b는 553개 × 두 순서 = 1,106회 실제 네이티브 추론이다. 단일 추론 중앙값 62.777ms, p95 95.269ms. 전체 외부 계측 wall 80.73초, user CPU 307.10초, 최대 RSS 1,577,156,608바이트였다. 다중 스레드이므로 CPU 시간 합이 경과 시간보다 클 수 있다. 앱 내부 전체 경과 시간 80.322초와 외부 계측 범위는 다르다. 17은 wall 80.44초, 최대 RSS 1,574,371,328바이트였다. 이는 전체 프로세스 메모리이며 작은 모델 파일 크기와 비교해 혼동하지 않는다.

한 모델 세션으로 순차 실행하고, 호출 사이에 1시간·RSS 8GiB 한도를 검사한다. 네이티브 호출 내부의 순간 메모리를 강제로 제한하는 장치는 아니다. 실행 로그는 숫자 진행률만 출력하며 원문·질문·행별 예측은 공개하지 않는다. 소스·분리·모델·계획 해시와 전체 점수 trace 해시를 결과에 남겼다. 전체 네이티브 실행의 반복 일치까지 검증한 것은 아니다.

go run ./cmd/riido-layaprobe --protocol noul --model-dir .cache/models-v2/code --runtime /path/to/pinned/libonnxruntime.1.30.0.dylib
# 처음 시도한 일반 선택형은 별도 참고 실행이다.
go run ./cmd/riido-layaprobe --protocol choice --model-dir .cache/models-v2/code --runtime /path/to/pinned/libonnxruntime.1.30.0.dylib

단위 테스트는 평가 구간 격리, 양쪽 순서의 true 확률 위치, 권장 형식의 주 점수가 정방향임을 검사하고, 같은 제외 사례로 BM25를 비교하도록 한다. 테스트 대역을 실제 모델 결과라고 부르지 않는다.

다음에는 런타임의 원본 참조 일치와 실제 사용 과업의 적합성을 확인해야 한다. 이 결과를 보고 무작정 더 큰 학습이나 3진 증류를 시작하지 않는다. CoSQA 데이터 조건과 체크포인트 Apache 고지는 별개로 유지하며 새 모델/원문을 Git 또는 HF에 게시하지 않았다.

Source and CI: PR #40, merged as aa871ac66629bdc4af5b43e3a3efe8c7434c3179. Exact-head CI passed macOS, Linux, security and quality checks. CI validates software; it does not make the failed model-quality gate pass.