페이지 비용 시험 12

2,948개의 서로 다른 설명 질문을 3,009개 함수에서 검색했다. 24개 모델 파일이나 반복 실행을 질문 수로 세지 않는다. 기존에 관찰한 세 저장소의 문서 설명이므로 독립적인 실제 사용자 최종 평가가 아니다.

결과

주 조건은 결과 확인 전에 고정한 페이지당 20개다. 기존 BM25와 식별자 분리 검색을 기존 후보 우선으로 교차하는 정책을 비교했다.

지표 (전체 질문 합계)	기존 검색	보조 검색
첫 알려진 정답을 포함한 페이지까지 요청 수	9,488	6,287
해당 페이지까지 출력한 후보 수	189,760	125,740
동일 비용을 가정한 검색 작업 지표	9,488	12,574

페이지·후보 출력은 약 33.7% 감소했지만 검색 작업 지표는 약 32.5% 증가했다. 페이지가 감소한 질문은 332개, 증가 146개, 동일 2,470개다. 검색 작업 지표가 감소한 질문은 183개, 증가 2,661개, 동일 104개다. 따라서 모든 질문에 보조 검색을 켜면 CPU도 절약된다고 주장할 수 없다.

현재 CLI는 각 페이지 요청에서 인덱스와 순위를 다시 계산한다. 기존 검색은 한 인덱스, 보조 검색은 두 인덱스를 사용한다. 작업 지표는 각각 페이지 수와 두 배의 페이지 수다. 실제 인덱스 구축·정규화·정렬·입출력 비용은 같지 않다. 이 수치는 측정 CPU 시간, 지연, 전력, GPU 비용 또는 과금 토큰이 아니다.

정답을 알아보는 이상적인 검증기를 가정했다. 마지막 페이지 전체의 후보 수를 세며, 실제 에이전트가 정답을 확인하고 작업을 완료했는지는 측정하지 않았다. 다른 유효 정답이 미표기됐을 수 있다. 1/5/10/20/50개 페이지 민감도 결과는 results-12.json에 있다. 어떤 조건에서도 이 단순 작업 지표의 합계는 증가했다.

다음 학습에 주는 근거

기존의 '순위가 조금이라도 좋아졌는가' 라벨은 페이지 경계와 추가 계산을 반영하지 못한다. 다음 손실함수는 후보 출력 비용과 측정한 검색 비용을 별도로 다뤄야 한다. 두 비용의 교환 비율을 임의로 정해 성능 개선이라고 부르지 않는다. 먼저 순위 재사용 세션의 실제 비용을 측정하고, 그 구조에서 라벨을 고정한 뒤 저장소별 분리 학습을 비교한다. 현재 통계로부터 최적 정책을 학습·평가했다는 주장은 하지 않는다.

재현

07의 고정 원천 파일과 ZIP 검증 조건을 그대로 사용한다. 원문은 Git에 포함하지 않는다.

go run ./cmd/riido-interleaveprobe --page-cost > results.json
go test ./internal/retrievalbench

plan-12.json은 첫 평가 전에 커밋했다. 페이지 경계, 마지막 불완전 페이지, 비용 방향 역전, 범위 밖 정답 순위를 테스트한다. 출력 결과는 재실행과 바이트 단위로 비교한다. 모델 학습·배포 또는 기본 정책 변경은 없다.