호출 예산을 적용한 주장 모델 시험 15

주 후보와 반복 후보 모두 합격하지 못했다. 검증 데이터에서만 임계값을 선택하자 보조 호출은 줄었지만, 학습 모델은 동일 조건의 간단한 검색 점수 규칙보다 더 많은 페이지를 읽었다. 기존 모델을 기본 적용하지 않는다.

무엇을 바꿨나

14에서 공개한 모델 24개를 그대로 재사용했다. 재학습하거나 가중치를 변경하지 않았다. score >= 임계값일 때 보조 검색을 제안하며, 임계값은 각 모델의 기존 검증 저장소에서만 선택한다. 각 질문의 실제 첫 정답은 임계값을 선택하는 검증 단계에서만 참고하고, 실행 점수에는 넣지 않는다.

25/50/75/90% 호출 한도를 사전에 정했다. 검증 질문 수에 비율을 곱한 뒤 내림한 값 이하로 보조 검색을 제안하는 임계값들 중 총 페이지가 최소인 값을 고른다. 페이지 수가 같으면 호출이 적은 쪽을 고르고, 이득이 없으면 보조 검색을 끈다. 같은 점수의 질문을 임의로 나누지 않는다. 평가 저장소에는 선택한 값을 그대로 적용한다.

여기서 한도는 검증 데이터에서의 비율 제한이다. 새 저장소에 대한 실행 시점의 강제 할당량은 아니다. 평가에서 비율이 초과하면 그대로 기록하고 합격시키지 않는다. 예를 들어 간단한 규칙의 50% 조건은 평가에서 1,492/2,948개를 호출해 50%를 넘었다.

비교 규칙은 기존 BM25의 1·2위 점수 차이가 작을수록 보조 검색을 우선하는 방식이다. 정확히는 특징 9의 음수 -(top-second)/(1+top)를 점수로 쓴다. 보조 검색을 수행하기 전에 얻을 수 있고 학습 가중치가 필요 없다. 이 규칙도 같은 검증 데이터·한도·선택 절차를 사용한다.

90% 주 조건의 결과

정책	실제 보조 호출	전체 페이지	Recall@10
기존 BM25	0	9,488	74.83%
항상 보조 검색	2,948	6,287	81.38%
간단한 점수 차이 규칙	2,548	6,323	80.97%
FP32 / 1729 (주 후보)	2,558	7,033	80.50%
FP32 / 2718 (반복 후보)	2,543	7,079	80.50%
3진 PTQ·STE / 두 seed	2,595	6,905	80.66%

간단한 규칙은 항상 보조 검색보다 호출을 400개 줄이는 대신 페이지가 36개 늘었다. 이는 비용 간 교환 관계이며 무조건적인 개선이 아니다. 고정 합격 기준은 항상 보조 검색보다 페이지가 많지 않아야 하므로 이 규칙도 실패다. 학습 모델은 해당 규칙보다 페이지·호출이 모두 나쁘지 않고 하나는 더 좋아야 하는 추가 기준도 통과하지 못했다. 결과를 본 뒤 기준을 완화하거나 좋은 seed만 선택하지 않았다. 전체 36개 조건을 results-15.json에 남겼으며 모두 실패했다.

근거와 한계

고유 질문은 2,948개다. 108개 fold별 설정이나 36개 집계 조건을 독립 질문으로 세지 않는다. 세 저장소의 설명 질문이며 이전에 관찰한 데이터다. 코드 후보는 모든 fold에 공개돼 있고, epoch와 임계값 선택은 같은 검증 저장소를 사용해 검증 과적합 가능성이 있다. 평가 저장소 라벨은 해당 모델의 epoch/임계값 선택에 사용하지 않았다. 실제 사용자의 독립 질문 2,400개나 실제 에이전트 성공률·LLM 요금 절감 검증은 아니다.

고정 HF 리비전 4e0addaa24d407bb11282f193e039c943a08bd0a의 파일 해시와 전체 패키지를 검사하고 입력으로 썼다. 전체 결과는 재실행 시 바이트 단위로 같았다. Apple M4 Pro CPU에서 원천 검사·검색·보정·평가까지 wall 1.79초, user CPU 1.41초, 최대 RSS 98,975,744바이트였다. GPU는 사용하지 않았다. 점수 동점 처리·비율 초과·평가 라벨 변경 시 임계값 불변을 테스트했다.

이번 결과로 현재 12개 특징의 선형 모델을 더 많이 찍어내는 것이 우선이라고 판단하지 않는다. 간단한 규칙을 강한 비교 대상으로 유지하고, 새로운 특징/학습 구조는 독립 근거가 있을 때 분리 실험한다. 현재 규칙의 페이지·호출 교환이 실사용에 유리한지도 실제 실행/검증 비용으로 확인해야 한다.

go run ./cmd/riido-pagebudget --models /path/to/verified-experiment-14-package > results.json

07의 고정 원천 projection·ZIP도 필요하다. 모델 패키지는 HF 다운로드 메타데이터를 제외한 31개 검증 파일로 구성해야 한다. 새로운 가중치가 없으므로 HF에 모델 복제본을 다시 게시하지 않는다. Git에는 집계 결과·선택 임계값·검사 코드만 남기며, 모델 본체·원문·질문·행별 정답은 넣지 않는다.

PR #38은 정확한 소스 리비전의 Linux/macOS·보안·quality CI 36708459498 통과 후 병합됐다. 추가 자료 검토에는 CoNaLa·SWE-bench의 질문 수·중복·권리 확인 항목을 기록했다. 아직 새 코퍼스로 학습하거나 평가하지 않았다.