실험 44: 검증 자료도 함께 수집하기

학습 저장소를 모두 방문한 뒤 검증으로 넘어가던 순서를 선택적으로 바꿨다. 새 요청 300회로 파일 목록 146개를 추가 확보했고, 그중 검증 작업이 102개다. 검증 목록은 5→107개로 늘었지만 전체 검증 5,686개에는 여전히 크게 부족하다. 모델 학습이나 정확도 개선을 뜻하지 않는다.

왜 바꿨나

실험 43은 검색 비용 자료를 만들었지만 검증 역할에서 사용할 수 있는 작업이 다섯 개뿐이었다. 전체 목록 수만 늘려서는 모델을 독립적으로 검증할 수 없었다. 기존 수집은 역할·저장소·ID 순서이므로 앞쪽의 학습 저장소에 요청 예산이 집중됐다.

사전 계획은 구현과 새 요청 전에 커밋했다. 새 --order fair 옵션은 학습과 검증을 번갈아 방문하고, 각 역할 안에서는 이름순 저장소를 순환하며 ID순 작업 하나씩을 꺼낸다. 작은 저장소가 끝나면 건너뛰고, 한 역할이 끝나면 남은 역할을 처리한다. 정답·검색 성적·질문 내용은 순서 함수에 전달하지 않는다. 무작위 표본은 아니며, 초기 부분 결과의 대표성을 보장하지 않는다.

바꾸지 않은 실험 경계

학습 7,335 / 검증 5,686, 총 13,021개 구성원을 그대로 유지하고 최종 평가 2,402개는 수집에 넣지 않는다. 실제 구성원 검사에서 중복·누락이 없고 처음 40개 방문 안에 25개 개발 저장소가 모두 포함되는 것을 확인했다. 기존 캐시를 재사용하며 기본 serial 순서와 sample 모드는 유지한다. 새 순서는 all 모드에서만 허용하고 계획 변경 파일의 해시를 확인한다.

요청 간격 최소 300ms, 요청별 30초, 실행당 최대 2,000요청, 기존 파일·경로·트리 크기 한도, 라이선스 자료 수집 범위는 그대로다. 심볼릭 링크나 서브모듈의 내용을 따라가지 않는다. 구성원을 고르는 기능이나 학습 승인 기능을 추가하지 않았다.

실제 확보 결과

직전 직렬 배치가 정상 종료된 3,242개 체크포인트를 기준으로 비교한다. API 잔여 요청 491회를 확인한 후 이번 배치를 300회로 제한했다.

역할	전체 작업	이전 목록	새 목록	증가
학습	7,335	3,237	3,281	44
검증	5,686	5	107	102
합계	13,021	3,242	3,388	146

결과의 미확보 목록 9,633개는 전체 분모에 남는다. 검증 목록 107개가 모두 채점 가능한 정답이나 학습에 사용 가능한 출처를 가졌다는 뜻은 아니다. 라이선스 문서 후보가 있는 스냅샷 수 역시 자동 사용 승인 수가 아니다. 실험 43의 고정 2,248개 체크포인트와 수치는 변경하지 않았다.

실행과 검증

저장소 루트에서 기존 비공개 구성원·캐시를 준비하고 실행한다.

go run ./cmd/riido-trainingcatalog --mode all --order fair --request-budget 300 --out .cache/catalog-fair-new

네트워크 없이 같은 자료를 검증하려면 --offline과 새 출력 폴더를 사용한다. schedule.json에는 순서 버전·계획 해시·구성원 해시가 추가로 기록된다. 공개 집계 형식은 유지한다. 비공개 실패 목록의 순서는 방문 순서에 따라 달라질 수 있으므로 서로 다른 순서를 비교할 때 식별자·실패 단계로 정렬한 뒤 비교한다.

합성 자료에서 정확한 순서, 고르지 않은 저장소 크기, 역할 소진, 입력 순서 불변성, 원본 미변경, 중복·최종 역할·역할 간 저장소 중복 거부를 검사했다. 새 요청 전에 같은 기존 캐시의 직렬/순환 결과를 비교해 공개 집계·라이선스 목록이 바이트 단위로 같고 정렬한 실패 증거도 같음을 확인했다. 새 300요청 배치도 오프라인 재실행에서 결과·라이선스 목록·실패 목록·순서 메타데이터가 모두 바이트 단위로 일치했다. 전체 race 테스트, vet, 형식, 비밀정보 검사를 수행한다.

수집 중 속도나 메모리를 모델 추론 성능으로 보고하지 않는다. 다음 단계는 검증 확보를 계속 늘리고, 새 자료의 정답 연결·출처 조건을 확인하는 것이다. 충분한 검증과 별도 학습 계획 없이 같은 부분 자료에서 모델을 반복 선택하지 않는다.

PR #67

추가 확인: 새 배치의 오프라인 race 실행에서도 결과·라이선스 목록·실패 목록·순서 메타데이터가 일반 실행과 바이트 단위로 일치했다.