실제 관련성 학습 02: 작은 모델은 만들었지만 일반화는 아직 실패

English · 실행 전 계획 · 전체 집계와 모델 해시 · 앞선 2,400개 평가

Go로 실제 CoSQA 관련성 학습을 실행했다. 검증 AUC가 0.475~0.513으로 충분한 순위 신호를 보여주지 못했다. 기본 모델로 승격하지 않고, reserve1 2,403개와 reserve2 2,401개를 이번에는 평가하지 않았다. 이 보류는 검증 결과를 보고 내린 개발 판단이며 사전 등록된 통계적 합격 판정은 아니다. 3진의 작은 파일 크기를 품질 개선으로 해석하지 않는다.

무엇을 학습했나

질문과 코드가 관련되면 1, 아니면 0인 이진 교차 엔트로피를 최소화했다. 원래 합성 후보 순위 학습기와 분리된 internal/pairlearn 및 cmd/riido-pairtrain을 추가했다. 생성 모델이나 기존 Laya 인코더를 학습한 것이 아니다. 8,192개 계수로 단어·인접 두 단어의 교차 특징과 단어 겹침을 점수로 바꾸는 독립적인 경량 실험이다. 절편은 없으며 점수는 검증된 확률이 아니다.

분할은 앞 실험과 동일하다. development 12,189개 중 입력 범위 안의 11,263개를 학습했고 926개는 입력 한도 때문에 학습에서 제외했다. validation 607개 중 553개로 선택했고 54개는 제외했다. 따라서 아래 결과는 범위 안 검증 자료만의 결과다. 최종 시험에서는 긴 입력도 버리지 않고 BM25로 복귀해야 한다. 원문 파일 전체는 출처 검증·분할 생성에 읽지만 예비 시험의 특징·점수·라벨은 학습이나 선택에 쓰지 않는다.

seed 2개 × 학습률 2개 × FP32/3진 STE = 8개 설정을 각각 20 epoch 실행했다. batch128, L2=0.0001을 고정했다. 각 seed·학습 방식마다 검증 손실이 가장 작은 epoch와 학습률을 선택했다. 선택 FP32에서 INT8와 3진 PTQ를 만들고 3진 STE는 별도로 선택해 총 8개 파일을 생성했다. 검증 AUC는 선택 후 진단 지표이며 새로운 독립 시험이 아니다.

결과를 쉽게 읽기

AUC는 관련 쌍이 비관련 쌍보다 높은 점수를 받는 정도다. 0.5 부근이면 이 자료에서 유용한 순서 구분이 거의 없다는 뜻이다. 신뢰구간 없는 검증 점 추정이므로 작은 차이의 우열은 주장하지 않는다.

방식	seed1729 검증 AUC	seed2718 검증 AUC	파일 크기
FP32	0.4937	0.5045	32,792B
INT8	0.4935	0.5053	8,216B
3진 PTQ	0.5028	0.5133	1,633 / 1,636B
3진 STE	0.4751	0.5062	1,639 / 1,630B

선택 FP32의 학습 손실은 약 0.680으로 내려갔지만 검증 손실은 약 0.693에 머물렀다. 모든 입력에 0.5를 내는 기준의 손실은 약 0.693147이고 학습 양성 비율만 쓰는 기준은 검증에서 0.693824다. 따라서 '학습 코드가 돌았다'와 '새로운 코드에도 쓸 만해졌다'를 구분해야 한다. 의미 일반화가 약하다는 증거이며, 더 큰 모델만이 유일한 답이라는 증거는 아니다.

메모리·CPU와 재현

• Apple M4 Pro, 24GiB RAM, Go1.27.1, CPU 실행. 첫 전체 실행 wall3.87초, userCPU3.52초, 최대RSS236,814,336B(225.84MiB), swap0. 원천 읽기·특징 준비·8회 학습·내보내기를 포함하며 단일 추론 비용이 아니다.
• 희소 특징은 offset, uint16 index, float64 value의 연속 배열에 저장한다. 특징 index/value 논리 payload는 70,556,830B(67.29MiB); 배열 여유 용량·offset·라벨·원천·런타임은 별도다. 데이터셋별 payload 상한 320MB로 무제한 캐시를 막는다.
• 별도 프로파일 실행에서 Go 생존 heap 표본 약 80.94MiB, 그중 준비된 특징 배열이 약 95.48%. CPU 표본은 희소 점수 계산 약 35.83%, Fit 자체 약 21.50%, 특징 준비 자체 약 4.67%였다. 포함 시간끼리 합산하지 않는다. pprof는 전체 RSS나 GPU 측정이 아니다. GPU·SIMD 가속은 구현/사용하지 않았다.
• 학습 루프는 단일 소유 배열을 사용하며 lock·공유 가변 상태가 없다. 전역 3진 scale은 batch마다 다시 계산하고 backward는 identity STE를 쓴다. 파일은 작아도 런타임 decode는 계수당 float64여서 계수 메모리 64KiB다.
• 프로파일 추가 및 AUC 진단 추가 후 재실행해도 8개 모델 SHA256이 최초 실행과 모두 같았다. 원천·계획·분할·모델 해시는 집계 JSON에 있다. CPU/heap 원본과 가중치는 Git에 넣지 않았다.

go run ./cmd/riido-pairtrain --out .cache/pair-training-new \
  --cpu-profile .cache/pair-training-cpu.pprof \
  --heap-profile .cache/pair-training-heap.pprof

앞 문서의 고정 CoSQA 파일을 먼저 로컬에 준비해야 한다. 출력 폴더는 새 것이어야 한다. 이 명령에는 최종 시험 단계가 없으며 종료 코드 0은 실행 성공만 의미한다. .hbin은 기존 riido-hints --model ... --sha256 ...과 파일 형식이 같지만 실사용 권장 모델이 아니다.

다음 실험과 공개 범위

다음 개발 실험은 학습된 단어 일치·길이 등 소수 특징 기준선과, 교차 특징의 충돌·과적합을 분리하는 대조군을 먼저 비교한다. 필요하면 라이선스를 확인한 정적 의미 임베딩을 별도 실험으로 추가한다. 구조 선택에 검증 자료를 반복 사용했다는 이력을 유지하며, 설정을 고정한 뒤에만 reserve1을 한 번 평가한다. 실제 후보 검색·최종 작업 성공·LLM 호출 절감은 여전히 별도 검증이 필요하다.

CoSQA 저자 배포본의 코드는 MIT, 데이터는 C-UDA다. 이번에는 로컬 계산 사용과 집계 공개만 했다. 원문·라벨 행·모델 본체는 GitHub에 올리지 않았다. 새 가중치의 Hugging Face 배포는 출처·라이선스·공개 내용·모델 검증 경로를 갖춘 후 별도로 처리하며, 이번 기록은 게시 완료를 뜻하지 않는다.