실험 43: 작업별 검색 비용 자료

전체 개발 작업 13,021개를 유지한 상태에서, 고정 체크포인트의 2,248개 파일 목록으로 실제 검색을 실행했다. 정답이 있는 2,236개에서 총 후보 페이지는 26,226→24,781로 줄었지만, 개선 143개보다 악화 302개가 많았다. 검증 역할에서 점수를 낼 수 있는 작업은 5개뿐이므로 모델 선택이나 성능 확정에 사용할 수 없다.

무엇을 위한 자료인가

초소형 주장 모델이 “이 작업에서는 보조 검색을 해볼 만하다”는 힌트를 학습하려면, 도움이 된 사례와 손해를 낸 사례가 모두 필요하다. 이번에는 모델을 학습하지 않고 그 비용 자료를 Go로 준비했다. Laya 추론, 3진 모델 학습, 유료 LLM 호출은 실행하지 않았다.

사전 계획을 먼저 커밋했다. 원본 결과는 공개 집계이며, 작업별 숫자·식별자는 비공개 캐시에만 저장한다. 원문 질문·정답 경로·패치·모델 본체는 결과 자료에 포함하지 않는다.

분모와 분리

역할	고정 작업 수	목록 확보	비용 평가 가능
학습	7,335	2,243	2,231
검증	5,686	5	5
합계	13,021	2,248	2,236

10,773개는 이 체크포인트에서 목록 미확보다. 확보된 작업 중 12개는 기존 파일 정답이 없어 비용을 부여하지 않았다. 최종 평가 2,402개는 검색·특징 추출·채점에 넘기지 않는다. 원본 투영에는 다른 역할과 중복 형제의 행도 있으므로 바이트 검증과 JSON 읽기는 하지만, 개발 대표 작업만 검색 콜백에 전달한다.

상태는 목록 미확보를 먼저 기록하고, 목록이 있는 경우 검색 오류·정답 파싱 실패·미지원 정답·기존 정답 없음·미연결 정답·채점 완료를 구분한다. 따라서 이번 ParseFailures=0은 전체 원본에 파싱 실패가 없다는 뜻이 아니다. 전체 개발 정답에는 실험 39의 실패 294개가 있고, 이번 체크포인트에서는 모두 목록 미확보 상태에 속한다. 미확보나 실패를 모델의 부정 정답으로 바꾸지 않는다.

실험 40의 두 번째 수집 체크포인트 SHA-256을 고정했다. 동시에 새로 수집된 목록이 있어도 이번 실행 대상에는 추가하지 않았다. 필요한 캐시가 없어지거나 내용 지문이 달라지면 중단하며 네트워크로 대체하지 않는다. 이는 전체 평가군을 줄이는 선택이 아닌 부분 수집 상태의 재현이다.

어떻게 비교했나

질문과 전체 파일 후보로 기본 검색을 하고, 정답을 점수 계산에 전달하기 전에 고정 16개 특징과 기본 순위를 확보한다. 모든 목록에 대해 실제 보조 검색을 실행하고 기본 결과와 교차 배치한다. 정답은 두 순위가 만들어진 뒤에만 비용 계산에 사용한다. 정답 파서는 앞서 읽지만 정답이 검색기나 특징 함수의 입력으로 들어가지는 않는다.

페이지 크기는 20개 후보다. 첫 정답이 21위에서 20위로 오면 2페이지→1페이지, 절약은 +1이다. 반대는 -1이다. 기존 파일 정답이 전부 후보에 연결된 작업만 비용을 부여한다. Hit1/10/100은 정답 중 하나 이상이 해당 순위 안에 있는 작업 수, All10은 모든 정답이 10위 안에 있는 작업 수다. 비율을 계산할 때는 각 역할·저장소의 Scored를 분모로 쓰고, 전체 작업 수 대비 평가 가능 비율도 함께 제시해야 한다.

항목	기본 검색	항상 보조 검색
총 첫 정답 페이지	26,226	24,781
Hit1	201	201
Hit10	796	848
Hit100	1,607	1,655
All10	442	459

개선 143 / 악화 302 / 동일 1,791이다. 기본 검색·보조 인덱스 생성·보조 검색 시도는 각각 2,248회였고 이번에는 실패나 fallback이 없었다. 12개 무정답 작업에도 정답을 보기 전에 검색을 실행했으므로 채점 수보다 실행 수가 크다.

Qiskit 1,307개와 Airflow 444개 등 일부 저장소가 대부분을 차지한다. DataDog은 580→646페이지, conda는 436→443페이지로 악화됐다. 검증 전체도 28→29페이지지만 5개뿐이라 일반화 증거로 쓸 수 없다. 총합 감소만으로 기본 활성화하지 않는다.

구현과 검증

riido-pathcostdata는 저장소 루트에서 go run ./cmd/riido-pathcostdata --out .cache/path-cost-data-43으로 실행한다. 사전에 고정된 실험 36·37·39·40의 비공개 캐시가 필요하며, 출력 폴더는 새 이름이어야 한다. 누락 자료를 자동 다운로드하지 않는다.

질문 투영을 먼저 전체 해시 검증하고 한 행씩 읽는다. 96MiB 파일·1MiB 행 한도, 19,008개 원본 행, 개발 역할·저장소·커밋·중복·누락을 검사하고 두 번째 읽기의 해시도 확인한다. 콜백 결과는 모든 검사가 끝날 때까지 저장하지 않는다. 기본 순위는 이미 실행한 결과를 재사용하므로 비교용 검색을 중복 실행하지 않는다. 모델 입력에는 경로·저장소 이름·정답 식별자가 없고 숫자 특징만 있다.

소유한 합성 자료로 역할 누출, 파일 변조, 중복·누락, 정답 불일치, 페이지 경계의 이득·손해, 손상·누락 캐시, 전체 분모 집계를 검사한다. 기본/보조 순위는 기존 독립 참조 구현과 비교한다. 실제 결과의 일반 재실행과 race 실행에서 공개 집계와 비공개 사례 파일이 바이트 단위로 같은지 확인한다. 전체 race 테스트·vet·형식·비밀정보 검사를 CI와 함께 통과해야 게시한다.

수집 작업과 동시에 실행했으므로 이 실행의 속도나 최대 메모리를 독립 성능 측정으로 보고하지 않는다. 후보 페이지는 실제 LLM 토큰·비용·작업 완료율을 뜻하지 않는다. 출처 사용 가능성 검토, 새 가중치 학습, 최종 평가, 모델 배포·기본 활성화는 이번 결과로 승인되지 않는다.

다음 작업

검증 저장소 수집이 뒤처지는 문제를 먼저 해소해야 한다. 기존 구성원과 최종 평가 보호는 유지하고, 검색 성적이 아닌 확보율을 기준으로 수집 순서를 개선한다. 충분한 검증 자료와 출처 검토를 확보한 뒤 학습·임계값 선택 규칙을 별도로 고정한다. 파일 검색 보조의 결과를 모델 상향·하향 라우팅, 저장소 선택, 작업 분할의 검증으로 대신하지 않는다.

구현 PR #66

후속 실험 44에서는 수집 순서를 개선해 검증 파일 목록을 5→107개로 늘렸다. 이는 새 목록 확보이며, 이 페이지의 고정 비용 평가를 다시 계산하거나 검증 107개를 채점했다는 뜻은 아니다.