24개를 넘어: 작은 주장 모델을 수천 개로 학습한 결과

초기 24문제는 작동 여부를 확인하는 예비 시험이었습니다. 이번에는 실제 학습 4,456개, 검증 2,599개로 규모를 늘렸습니다. 각각 최소 2,400개를 요구하는 고정 기준을 충족했고, 5개 호출 비용 × 2개 초기값의 10개 모델을 모두 학습했습니다. 같은 문제를 여러 번 실행하는 것은 새로운 사례로 세지 않았습니다.

목적은 작은 모델이 “이 경우 보조 검색을 시도하면 도움이 될 수 있다”는 힌트를 주는 것입니다. 문장을 생성하거나 사용자의 결정을 대신하는 모델이 아닙니다. 입력은 기본 검색에서 얻는 일반 숫자 16개이며, 원문·파일 경로·작업/저장소 이름을 계수 입력에 넣지 않습니다.

이번 방식의 유용성 기준은 실패했습니다.

검증 2,599개	기본 검색	학습 선택 1729	학습 선택 2718
첫 정답까지 총 페이지	18,023	18,010	17,978
보조 선택 수	0	55	1,248
상위 10개 안에서 정답을 찾은 사례	1,014	1,013	1,007

페이지 감소는 약 0.07~0.25%로 요구한 5%에 못 미쳤고, 정답을 빨리 찾는 품질도 조금 낮아졌습니다. 특정 저장소의 손해와 초기값에 따른 불안정성도 확인했습니다. 정답을 미리 알아 모든 이득 사례만 골라도 이번 보조 검색의 최대 페이지 절감은 3.11%였습니다. 기준을 낮추거나 다른 후보를 사후에 승자로 바꾸지 않았습니다.

검증 저장소별 사례는 Lightning 287, Google Cloud Python 672, NumPy 679, pandas 634, cryptography 327개입니다. 보호된 최종 평가 2,402개는 아직 평가하지 않았습니다. 검증은 후보를 선택하는 개발 자료이므로 최종 성능이라고 표현하지 않습니다.

독립된 warm 실행 한 번에서 입력 검증·10개 학습·정책 비교·파일 저장 전체가 1.45초, 최대 RSS 약 108.6MiB였습니다. GPU는 사용하지 않았습니다. 모델 계수는 64바이트지만 파일 목록·캐시·검색을 포함한 시스템이 64바이트라는 뜻은 아닙니다. 이 시간은 단일 추론 latency가 아닙니다.

페이지와 선택 수는 저장된 검색 결과를 비교한 값입니다. 실제로 보조 검색을 건너뛰는 실행 시간, LLM 토큰, Codex 사용량, 작업 완료율의 절감은 아직 입증하지 않았습니다. 실패한 모델을 운영에 등록하거나 새 가중치로 배포하지 않았습니다. 다음에는 보조 검색 자체의 개선 상한과 이득·손해를 구별할 특징을 별도 실험으로 살펴봅니다. 3진화는 유용한 FP32 신호 이후의 실험으로 유지합니다.

상세 결과·전체 후보·출처·메모리 · 사전 계획 · 입력 봉인 · English