실험 45: 더 넓은 체크포인트의 비용과 출처 준비

3,369개 작업의 실제 검색 비용을 비교했다. 총 후보 페이지는 33,897→31,921로 줄었지만 검증 107개에서는 499→506으로 늘었다. 학습을 시작할 독립 검증 규모가 부족하고, 일부 역사적 출처에는 제한 조건도 있어 기본 정책·모델 공개를 승인하지 않는다.

계획은 새 비용 결과를 보기 전에 고정했다. 결과는 실험 44 첫 순환 배치 뒤의 파일 목록 3,388개만 사용한다. 진행 중인 다음 수집의 새 캐시는 이번 체크포인트에 추가하지 않는다. 실험 43의 수치와 체크포인트도 보존한다.

분모와 실제 비교

역할	전체 작업	목록 확보	비용 평가 가능	기본 페이지	보조 페이지
학습	7,335	3,281	3,262	33,398	31,415
검증	5,686	107	107	499	506
합계	13,021	3,388	3,369	33,897	31,921

목록 미확보 9,633개, 확보 작업의 정답 파싱 실패 1개와 기존 파일 정답 없음 18개를 분모에 남겼다. 전체 정답 자료의 파싱 실패 294개 중 나머지는 이 체크포인트에서 미확보 상태다. 정답 파일 연결 검사에서는 3,369개 작업의 10,640개 경로가 모두 해당 스냅샷의 일반 파일과 연결됐다. 정답을 검색 입력에 넣지는 않는다.

개선 171 / 악화 417 / 동일 2,781이다. 검증에서는 개선 5 / 악화 13 / 동일 89이며, Hit10도 39→38이다. 전체 합계 감소로 일반화나 실제 LLM 절감을 주장하지 않는다. 후보 페이지는 첫 정답을 만날 때까지 20개씩 읽는 대리 비용이다. 보조 검색을 항상 실행한 자료이며 학습 모델의 실행 결과가 아니다.

출처별 조건을 비용 자료에 연결

출처 검토는 고정 배포와 132개 역사적 문서 기록의 지문·11,269개 스냅샷 참조를 확인했다. 저장소 집계와 준비 검사는 공개 숫자 자료이며 개별 작업·원문·경로·문서 본문은 비공개다.

공식 SWE-bench README는 전처리 자료의 모델 학습 용도와 프로젝트 MIT를 설명한다. 이것은 정책41의 작은 로컬 숫자 실험을 검토할 근거이며, 모든 과거 이슈 작성자의 권리를 입증하지는 않는다. 전역 IssueTextLicenseResolved와 SourceEligibilityComplete는 계속 false다.

Prefect의 과거 자료는 현재 Apache 표시로 일괄 분류하지 않았다. 초기 EULA 조건 112개와 서버 범위별 조건 90개를 보류했고, 문서 후보를 찾지 못한 Prefect 12개·Dagster 2개도 보류했다. 라이선스 단어 검색 결과를 판정으로 사용하지 않았다.

조건부 로컬 숫자 후보 중 목록이 있는 수는 3,172개다. 성공한 비용·특징 자료와 연결한 후의 수는 학습 3,048, 검증 107이다. 이것은 공개 모델 배포 가능 수가 아니며, 코드/텍스트 생성이나 원본 재배포를 허용하지 않는다. 다음 FP32 계획의 학습·검증 각각 최소 2,400개 조건에서 검증이 미달하므로 아직 학습하지 않았다.

후속 두 번째 순환 수집 배치는 요청 2,000회에서 정상 종료했고, 오프라인 재실행에서 집계·비공개 객체/실패 목록이 일치했다. 파일 목록은 4,378개: 학습 3,614 / 검증 764로 늘었다. 이어 세 번째 배치도 요청 2,000회에서 정상 종료·오프라인 일치를 확인했으며, 5,369개: 학습 3,971 / 검증 1,398를 확보했다.

이는 목록 확보 수이며 아직 새 출처·정답·비용을 연결한 학습 가능 수가 아니다. 위의 실험 45 수치나 출처 검토를 후속 수집 결과로 덮어쓰지 않는다. 검증 부족 때문에 학습 시작 조건은 여전히 미충족이다.

재실행 방법과 구현

새 체크포인트를 지정할 때 계획 파일·계획 해시·체크포인트 파일·체크포인트 해시 네 옵션을 함께 지정한다. 일부만 바꾸면 거부하며 기본 실행은 실험 43 그대로다.

go run ./cmd/riido-pathcostdata \
  --out .cache/path-cost-data-45-new \
  --plan experiments/path-cost-data/plan-45.json \
  --plan-sha256 ed9e766d3c456573cc42df96566a69aed3e544f06cf4884653ce056948dd7617 \
  --checkpoint .cache/development-join-45/evidence.json \
  --checkpoint-sha256 382ce75674e32a2e0adb7e8908d6cab92ff7e768f4f4ed63823952c03c957766

고정 비공개 자료가 사전에 필요하다. 계획의 source 지문·schema·production=false를 검사하고, 결과에 실제 읽은 지문을 기록한다. root만 있고 완전한 목록이 없는 행도 root 지문을 검증하며 새 목록을 대신 읽지 않는다. 질문 streaming, 16개 특징, 페이지20개, 최종 평가 보호는 유지한다.

원본 정답 연결, 새 비용 자료, 출처 검토를 각각 오프라인 재실행해 결과를 확인했다. 비용 자료는 일반 재실행과 race 실행에서 공개 집계·비공개 숫자 사례가 바이트 단위로 일치했다. 합성 테스트는 override 조합·잘못된 지문/계획·누락/변조 root·catalog 비접근을 확인한다. 수집과 동시에 실행했으므로 독립 지연/RSS 결과로 보고하지 않는다.

Hugging Face 연구 컬렉션에 고정 upstream 데이터 참고 항목을 추가했다. 새 모델 가중치를 배포한 작업은 아니다. 다음은 검증 확보 확대, 새 출처 검토와 10개 FP32 후보 runner 준비이며, 유용성이 확인된 다음에 3진 비교를 별도로 진행한다.