저장소 단위 학습·검증·최종 평가 분리 — 실험 37

학습 7,335개·검증 5,686개·새 최종 평가 2,402개로 분리를 고정했다. 서로 다른 저장소 집합을 사용하고 관련 작업을 함께 묶는다. 최종 자료는 정답 채점·학습·모델 선택에 아직 사용하지 않았다. 이는 분할 완료이며 모델 품질이나 라이선스 승인 완료가 아니다.

규칙은 저장소 조회와 분할 실행 전에 커밋했다. 실험 36 원본 19,008개와 대표 후보 15,423개의 지문을 먼저 재검증했다. 기존 평가 원본 2,594개와 이전 검색의 etcd·Kubernetes·LXD 저장소도 보호한다. 기존 2,400개 평가 선택은 바꾸지 않았다.

역할	대표 작업	저장소 수	사용 목적
학습	7,335	20	앞으로 모델 계수 학습
검증	5,686	5	모델·임계값·학습 중단 선택
새 최종 평가	2,402	10	선택이 끝난 뒤 한 번 평가
합계	15,423	35	모든 대표 후보를 정확히 한 번 배정

저장소를 조각내 비율을 맞추지 않는다. 저장소 묶음의 이름을 길이로 구분해 SHA-256으로 정렬하고, 순서대로 최종 평가 최소 2,400개, 검증 최소 2,400개를 채운 뒤 나머지를 학습에 배정한다. 학습 최소 4,800개도 요구했다. pandas 3,639개가 포함된 검증 묶음을 나누지 않아 검증이 5,686개가 됐다. 결과를 본 뒤 순서·seed·최소 개수를 바꾸지 않았다. 검증 내 편중도 있으므로 이후 저장소별·동일 저장소 가중 지표를 함께 보고해야 한다.

저장소 이름만 믿지 않도록 학습 35곳·평가 53곳·이전 검색 3곳의 공개 GitHub 메타데이터 91개를 조회했다. 양수 숫자 ID, 현재 정규 이름, 명시적 public/nonprivate, fork 여부를 검사한다. fork라면 공개 parent/source를 요구하고 같은 source ID 계열을 묶는다. 관측된 91개는 fork가 아니었다. GitHub에 표시되지 않는 복제 저장소까지 탐지한다는 뜻은 아니다.

현재 이름 연결은 google/jax → jax-ml/jax, Lightning-AI/lightning → lightning-ai/pytorch-lightning, tiangolo/fastapi → fastapi/fastapi, 이전 검색의 lxc/lxd → lxc/incus다. 비교할 때 대소문자도 정규화한다. 같은 숫자 ID의 이름·fork 계열 정보가 서로 모순되면 중단한다. 보호 대상과 같은 ID/계열은 제외 대상으로 처리하고 기존 작업 연결·대표 선택 규칙을 다시 적용했다. 후보 수는 15,423개로 유지됐다.

분할 단위는 정규 저장소 전체다. 같은 GitHub fork 계열 또는 정규화된 질문을 공유하는 원본 작업이 있으면 저장소끼리도 연결한다. 대표로 뽑히지 않은 3,585개 형제 행도 연결 검사에 포함한다. 실제 자료에서는 35개 단위가 남았다. 미선택 형제 행은 해당 저장소 역할에 남겨 두며 다른 분할의 추가 학습 자료로 쓰지 않는다.

독립적인 정렬 키 검사가 분할 간 저장소·fork 계열·정규화 질문 겹침, 작업 중복·누락, 역할별 수량을 확인한다. 합성 테스트에서는 이름 변경·fork·형제 행을 통한 연결, 입력 순서 불변, 누락·비공개·잘못된 메타데이터, 서로 다른 역할로 잘못 배정한 작업, 자료 부족 시 승인된 목록을 내보내지 않는 동작을 검사한다. 정확한 문자열 규칙을 넘어선 의미 중복, 미등록 포크/별칭, 사전학습 오염은 보장하지 않는다.

첫 수집은 91회 요청을 사용했다. 요청 간격 최소 300ms, 요청별 30초, 응답 2MiB, 실행당 최대 128회를 제한한다. 검증한 응답만 0700/0600 캐시에 원자적으로 저장하며 손상 캐시는 몰래 새로 받지 않는다. 조회 후 메타데이터 목록 지문을 고정했으므로, 이후 GitHub 값이 달라졌다고 같은 분할을 자동으로 바꾸지 않는다.

# 고정된 로컬 입력과 메타데이터 캐시로 재현
go run ./cmd/riido-trainpartition --out .cache/training-partition-new
# 캐시 수집 옵션. 고정 inventory 지문과 다르면 분할 전에 중단
go run ./cmd/riido-trainpartition --fetch-identities --out .cache/training-partition-collected

일반 오프라인 재실행과 실제 전체 자료 race 실행에서 공개 집계와 비공개 membership.json이 바이트 단위로 일치했다. 오프라인 M4 Pro CPU 전체는 3.70초, user 3.44초, system 0.06초, 최대 RSS 206,864,384바이트(약 197.3MiB)다. 수집 네트워크 시간·모델 추론·학습은 이 측정에 포함하지 않는다. 전체 집계·공개 저장소 메타데이터.

라이선스 필드는 현재 시점의 GitHub 분류 힌트만 수집했다. 과거 수정 전 시점의 라이선스 본문이나 이슈·패치의 이용 조건을 검토한 것이 아니다. HistoricalLicensesReviewed=false, TrainingApproved=false를 유지한다. 원문·패치·작업별 소속 목록·원 API 응답은 공개하지 않으며, 표와 정규화된 공개 저장소 정보만 게시한다.

다음은 이 분할을 유지하면서 과거 시점 라이선스·출처를 검토하고, 학습·검증 역할의 파일 목록과 검색 비용 라벨을 준비하는 것이다. 최종 역할은 선택이 끝날 때까지 채점하지 않는다. 파일 검색 힌트의 학습 근거를 만들고 있는 것이며 난이도·작업 분할·모델 라우팅까지 입증한 것은 아니다. 이번 단계에는 모델 학습이나 Hugging Face 배포가 없다.

• 학습·검증 파일 목록과 과거 라이선스 수집 · Development catalogs and historical license collection