실험 46 계획: 검색을 도울 작은 주장 모델

가중치 학습은 아직 시작하지 않았다. 파일 검색 보조가 도움이 될 만한 입력을 작은 숫자 점수로 알려주는 첫 FP32 모델의 계획을 새 비용 자료를 보기 전에 고정했다. 앞으로 10개 후보를 비교할 계획이며, 이것은 문제 수가 아니다.

24개와 2,400개는 무엇을 세나

초기 난이도 평가는 실제 문제 24개인 작은 예비 시험이다. 이 결과로 일반화나 운영 적합성을 판단하지 않는다. 이후 검색 실험의 24개 모델 설정과 실제 질문 2,948개도 구분한다. 초기값·표현 방식·선택지 순서를 바꾸어 같은 질문을 반복해도 새로운 독립 문제로 세지 않는다.

구분	다음 실험 기준	용도
학습 자료	조건을 통과한 최소 2,400개	계수를 배움
개발 검증 자료	조건을 통과한 최소 2,400개	epoch·호출 페널티·임계값 비교
최종 평가 자료	보호된 2,402개, 확보·출처 검토 별도	모델과 실행 조건을 고정한 뒤 확인
모델 설정	페널티 5개 × 초기값 2개 = 10개	같은 자료에서 비교할 후보 수

2,400개는 완료 선언을 위한 충분조건이 아니라 비교를 시작하기 위한 하한이다. 기존 고정 분할의 중복 연결 그룹과 저장소 경계를 유지한다. 문장·식별자 중복 제거가 의미적 독립성이나 사전 학습 오염 부재까지 입증하지는 않는다. 이득·손해·동률의 개수, 저장소별 결과, 드문 실패도 따로 보고하며 부족한 하위 집합은 증거 부족으로 남긴다.

크기 차이를 설명하는 가상 예시: 같은 분포의 독립 이항 시험에서 실패가 0개여도 단측 95% 실패율 상한은 1−0.05^(1/n)이다. 24개면 약 11.73%, 2,400개면 약 **0.125%**다. 실제 실험 결과나 현재 자료의 보장 수치가 아니다. 반복 관찰·상관된 작업·분포 이동에는 이 단순 계산을 그대로 적용할 수 없다. 계산 근거는 NIST의 정확 이항 신뢰한계다.

입력은 기본 검색에서 계산한 고정 16개 숫자다. 질문 원문·저장소 이름·파일 경로·정답 순위는 모델 입력에 넣지 않는다. 출력은 보조 검색을 시도할 가치에 관한 순위 점수다. 비용 가중 학습의 sigmoid 값을 실제 성공 확률로 설명하지 않는다. 실제 실행 선택과 실패 시 기본 검색 유지 기능은 별도 실행 경로가 담당한다.

언제 학습하나

학습과 검증에서 각각 출처 조건과 비용 검사를 통과한 작업 최소 2,400개, 검증 저장소 5개마다 최소 100개가 필요하다. 전체 학습 7,335 / 검증 5,686개 분모를 유지하고 미수집·정답 오류·조건 보류를 부정 정답으로 바꾸지 않는다. 최종 평가 2,402개는 모델·임계값이 고정된 뒤 별도로 확인한다.

실험 45의 준비 검사에서 조건부 출처 후보와 성공한 비용 자료를 연결한 수는 학습 3,048개, 검증 107개다. 학습 수만 보고 실행하지 않는다. 이는 좁은 로컬 숫자 실험의 운영 후보이며, 역사적 이슈 권리 전체나 공개 모델 배포를 승인한 수가 아니다.

학습 방향과 후보 수

5개 호출 페널티 {0, 0.25, 1, 4, 16}와 초기값 두 개 {1729, 2718}로 10개 FP32 후보를 만든다. 특징과 학습률·정규화·100epoch·batch64는 고정한다. 검증 손실이 가장 낮은 epoch를 선택하고, 같은 경우 먼저 나온 epoch를 쓴다. 좋은 초기값만 골라 보고하지 않는다.

정답은 기본 페이지−보조 페이지−페널티 > 0이고, 가중치는 그 차이의 절댓값이다. 페널티는 페이지 단위의 실험값이며 돈이나 토큰 가격이 아니다. 후보 100,000개·페이지20개 한도에 맞춰 가중치를 고정 상수 5,016으로 나눈다. 모든 행에 같은 상수를 쓰므로 정규화된 가중 손실과 업데이트의 의미가 유지된다. 큰 사례를 보고 임의로 잘라내는 방식은 사용하지 않는다.

검증에서 선택을 끈 기준선도 포함해 페이지 비용이 가장 낮은 임계값을 고른다. 보조 호출은 최대 90%, 같은 점수의 묶음은 쪼개지 않는다. 비용 동률에는 호출 수, 페널티, 임계값, epoch의 고정 순서를 적용한다. 기본 검색, 항상 보조 검색, 같은 호출 한도의 간격 휴리스틱도 함께 비교한다.

어떤 결과가 필요한가

두 초기값 모두 검증 페이지를 기본 검색보다 최소 5%, 항상 보조 검색보다 최소 1% 줄여야 한다. 전체·저장소 동일 가중의 Hit10은 기본 검색보다 나빠지면 안 되고, 어느 검증 저장소도 총 페이지가 5% 넘게 악화되면 안 된다. 실패하면 그 결과를 남기며 같은 자료에서 조건을 계속 바꾸지 않는다. 이것은 다음 실험으로 넘어가기 위한 파일럿 기준이다.

가중치는 16개 FP32 숫자이며, 준비·학습 자료는 Go의 연속 배열로 소유한다. 실제 계산에서 float64 특징이나 누적을 쓰는 부분과 저장 정밀도를 구분한다. 단일 헤드 저장 크기와 전체 특징·검색 비용도 구분한다. 전체 runner의 독립 측정 목표는 RSS 256MiB 이하이며, 초과를 숨기거나 행을 빼서 맞추지 않는다.

구현 준비와 남은 일

기존 Go 학습기는 16차원에 재사용할 수 있지만, 예전 저장소 3개용 실행 코드는 새 분할과 다르다. internal/pathclaim은 새 자료·고정 조건·모델 형식을 연결하기 위한 준비 코드다. 합성 테스트에서 학습이 실행되어도 실제 코퍼스의 학습 완료를 뜻하지 않는다. 전체 10개 후보 실행, 모든 epoch 기록, 실제 입력·출처·runner 지문 봉인, 자원 측정과 공개 고지는 다음 runner에서 확인해야 한다.

유용한 FP32 신호가 생기면 같은 입력·예산으로 FP32/INT8/3진 PTQ/3진 학습을 별도 실험한다. 16개 가중치의 압축만으로 전체 실행이 빨라진다고 가정하지 않는다. 파일 검색 이후에도 실제 에이전트 완료율·총 사용량, 모델 상향·하향, 의존성을 고려한 분할, 별도 저장소 선택 골든셋이 필요하다. 파일 페이지 한 가지로 전체 프로젝트의 성공을 대신하지 않는다.