Training Catalogs 38 KO - teamswyg/laya-tools GitHub Wiki

학습·검증 파일 목록과 과거 라이선스 수집 — 실험 38

대표 25개 시점의 전체 파일 목록을 확보했다. 라이선스 후보 본문은 24개 시점에서 확보했으며, 학습·배포 승인은 아직 완료하지 않았다. 별도로 고정된 학습·검증 13,021개 전체 수집을 진행한다. 최종 평가 2,402개는 수집 대상에서 제외한다.

계획은 수집 전에 고정했다. 실험 37의 비공개 소속 목록 해시를 검사한 뒤 학습 7,335개·검증 5,686개만 반환하는 Go reader를 추가했다. 역할 수·스키마·중복 ID·파일 크기·해시를 검사하며, 최종 작업을 수집 루프에 넘기면 중단한다. 대표 표본은 저장소별 ID 사전순 첫 작업으로 선택하고, 크기·라이선스·정답에 따라 바꾸지 않는다.

대표 시점 검사	결과
저장소 / 시점	25 / 25
수정 전 루트 / 전체 파일 목록 확보	25 / 25
파일 경로 참조(심볼릭 링크 포함)	43,214
심볼릭 링크 / 하위 모듈 참조	116 / 3
가장 큰 파일 후보 목록	6,425
검증된 라이선스 본문이 있는 시점	24
라이선스 경로·객체 참조 / 서로 다른 본문	52 / 49
서로 다른 라이선스 본문 합계	204,206바이트
API 요청 / 루트·목록·라이선스 요청 실패	101 / 0

표본 집계. 파일 참조 수는 서로 다른 소스 본문 수가 아니며 심볼릭 링크·하위 모듈 대상은 따라가지 않는다. 본문을 내려받는 것은 제한된 라이선스 후보뿐이다.

Prefect의 선택된 과거 시점은 전체 107개 파일 후보·133개 트리 항목에서도 licen, copying, notice가 포함된 경로를 찾지 못했다. 실험 37의 현재 GitHub 분류는 Apache-2.0이지만 이를 과거 시점의 허가로 대신하지 않는다. README 등 다른 위치의 조건을 아직 검사하지 않았으므로 “라이선스가 전혀 없다”는 결론도 아니다. GitHub 문서는 README에 라이선스 설명이 있을 수 있고 자동 탐지는 알려진 파일을 비교한다고 설명한다.

DataDog의 과거 LICENSE-3rdparty.csv에는 LGPL-3.0-only 등 다른 조건의 구성요소가 기재되어 있었다. Airflow와 pandas에서도 별도 라이선스 디렉터리를 수집했다. 따라서 루트의 한 라이선스를 전체 코드·제3자 자료·이슈·모델에 일괄 적용하지 않는다. 이는 특정 라이브러리 조건이 우리 모델에 자동 적용된다는 판정도 아니다. DataDog 과거 고지 객체, Apache-2.0 원문.

루트의 LICENSE/COPYING/NOTICE와 LICENCE 표기를 찾고, LICENSE(S)/LICENCE(S) 디렉터리의 바로 아래 파일까지만 검사한다. 심볼릭 링크를 따라가지 않으며 더 깊은 디렉터리는 미해결로 센다. 256KiB 이하 UTF-8 본문에 대해 Git blob SHA-1을 다시 계산하고 SHA-256도 기록한다. 파일 목록은 기존 8MiB 응답·32MiB 조립 캐시·100,000항목·16MiB 경로 한도를 유지하며, 큰 응답은 기존 하위 트리 복구를 사용한다.

# 저장소별 대표 시점 검사
go run ./cmd/riido-trainingcatalog --mode sample --out .cache/training-sample-new
# 동일 캐시에서 전체 학습·검증 수집 이어가기
go run ./cmd/riido-trainingcatalog --mode all --request-budget 512 --out .cache/training-all-new
# 수집된 표본의 네트워크 없는 재현
go run ./cmd/riido-trainingcatalog --mode sample --offline --out .cache/training-sample-replay-new

요청 시작 간격은 최소 300ms, 요청별 제한은 30초다. 실행당 최대 2,000회, 최초 전체 수집은 512회로 제한했다. 예산 종료 후 미확보 작업도 분모에 남기며 다음 실행에서 캐시를 재사용한다. 실패 건수에는 예산 종료로 미확보인 경우도 포함된다. 부분 확보를 전체 준비 완료로 바꾸지 않는다. AllDevelopmentCatalogsAvailable은 전체 13,021개 목록이 있어야 참이다.

표본 온라인/오프라인/race 실행의 집계·비공개 객체 목록·실패 목록이 바이트 단위로 일치했다. 전체 race·vet·형식 검사와 합성 역할 격리·순서 불변·수량/최댓값 검사도 통과했다. 별도 측정한 캐시 전용 표본 실행은 M4 Pro CPU에서 0.10초, 최대 RSS 34,488,320바이트(약 32.9MiB)였다. 네트워크·모델 추론·학습 비용이 아니다.

25개 표본은 13,021개 과거 시점의 라이선스·파일별 제3자 조건·이슈 텍스트 이용 조건을 대표해 승인할 수 없다. HistoricalLicensesReviewed=false, IssueTextLicenseResolved=false, TrainingApproved=false를 유지한다. 공개하는 것은 자체 코드·계획·저장소별 집계뿐이다. 원문·패치·전체 경로·원 라이선스 본문·작업 소속·프로파일은 로컬에 남긴다. 이번 단계는 결과 채점이나 모델 학습이 아니며 Hugging Face 배포도 없다.

전체 수집의 첫 실행은 새 요청 512회에서 정상 종료했다. 표본 캐시를 포함해 274/13,021개 루트·전체 목록이 확보됐고, 12,747개는 아직 미확보다. 확보된 파일 경로 참조는 396,820개, 최대 파일 후보는 8,180개다. 라이선스 후보 본문이 있는 시점은 271개이며 후보 파일명이 없는 시점은 3개다. 라이선스 트리/본문 요청 실패는 0이다. 첫 실행 집계는 동일 캐시의 오프라인 재실행과 집계·비공개 객체/실패 목록이 모두 일치했다. 이 수치는 완료된 첫 배치의 기록이며 이후 재개 실행의 실시간 상태가 아니다. 전체 준비 완료는 여전히 거짓이다.

Source / 원본 · PR #61