최소 2,400건 평가로 전환

English · 원천 점검 결과

사용자 요구에 따라 최종 평가 요청 최소 2,400개를 다음 성능 검증의 하한으로 정한다. 기존 24개 평가는 학습 동작을 확인한 합성 예비 실험이며 실사용 권장이나 모델 품질 승인의 근거로 사용하지 않는다. 파일의 크기와 로컬 실행 경로는 검증됐지만 업무 유용성은 미검증이다.

수를 세는 단위

• 2,400개는 후보 문서 수, 비교 횟수, seed별 반복 실행 횟수가 아니라 서로 구분되는 평가 요청이다.
• 같은 요청의 바꿔 쓰기, 같은 코드/저장소/템플릿에서 파생된 사례는 연결된 그룹으로 관리한다. train/validation/calibration/final 사이에 같은 그룹이 걸치면 안 된다.
• 총 요청 수와 고유 원천·코드·그룹 수를 함께 보고한다. 상관된 2,400개를 독립 표본 2,400개라고 부르지 않는다. 신뢰구간은 그룹 단위 재표집을 우선한다.
• 평가 자료가 모델/임계값/설계 수정에 사용되면 이후에는 개발 자료다. 최소 2seed로 재현하되 표본 수를 2배로 세지 않는다.

이미 확보해서 점검한 후보 자료

CoSQA 작성자 저장소는 사람이 주석한 자연어 질문/Python 코드 쌍을 제공한다. 논문은 각 쌍을 최소 3명이 주석했다고 설명한다. 원문을 공개 저장소로 복사하지 않고 로컬 분석만 수행했다.

• revision: 14ebcacf9e9bc3e7109102632bc63047876f27d2
• file: data/qa/cosqa-all.json, 13,998,805B
• SHA-256: 4d1a227fe3652992d1e98f43fa9dc1b8f54a6c27a1a24b9d182bdfb8cbc3274c
• 20,604개 쌍: 관련 10,020 / 비관련 10,584
• 소문자·공백 정규화 후 고유 질문 20,604개, 바깥 공백만 제거한 고유 코드 6,267개
• 질문 또는 동일 코드로 연결한 그룹 6,267개, 최대 그룹 20쌍
• 동일 질문/코드 중복 쌍 0, 해당 중복의 라벨 충돌 0
• 현재 모델의 입력 길이 한도 안에 있는 쌍 19,054개. 나머지를 몰래 제외하지 않고 범위 밖/폴백 비율로 보고해야 한다.

이 점검은 정규화된 정확 중복에 관한 것이며 의미 중복·변수명 변경 복제·라벨 정확성을 보장하지 않는다. 데이터에 저장소 메타데이터가 없어 저장소 단위 분리 검증은 아직 할 수 없다. 이미 알고 있는 코드가 train과 final에 나뉘는 것을 최소한 막기 위해 연결 그룹을 분할 단위로 사용해야 한다.

무엇을 평가할 수 있고 없는가

CoSQA는 질문/코드 한 쌍의 관련성 자료다. 2,400개 쌍 평가를 통과해도 64/256/1024후보 검색이나 GitHub 저장소 선택 품질을 증명하지 않는다. 모델의 관련성 구분·범위 밖 처리 시험으로 사용하고, 실제 후보 검색은 별도 qrels(정답 후보 목록)가 있는 자료로 평가해야 한다. 공식 benchmark split과 다른 자체 holdout을 만들 경우 공식 점수와 직접 비교하지 않는다.

CodeSearchNet은 코드-설명 쌍의 규모가 크지만 설명을 query로 사용하는 약한 라벨과 사람의 질의 판정을 구분해야 한다. 공식 안내는 원본 코드별 라이선스가 별도임을 명시한다. 공식 S3 Go archive는 이번 조회에서 403을 반환했으며 이 경로를 우회해 출처 불명 파일을 사용하지 않았다.

라이선스와 공개 범위

CoSQA 작성자는 코드 MIT, 데이터 C-UDA라고 구분한다. C-UDA 원문은 계산적 이용과 결과, 원문 데이터의 재배포 조건을 구분하며 상위 권리를 보증하지 않는다. 현재는 집계 점검만 공개한다. 이 자료를 프로젝트 Apache-2.0 데이터로 재표시하거나 원문을 HF에 복사하지 않는다. 모델 배포 전 출처/조건/원문 포함 여부를 별도로 검사한다. 단순히 저장소 LICENSE가 MIT라는 이유로 모든 데이터를 MIT로 간주하지 않는다.

다음 실행 순서와 현재 상태

1. 정확·근접 중복과 연결 그룹 점검을 확장한다.
2. 최종 요청 최소 2,400개, 검증/보정 및 학습 자료를 그룹 단위로 따로 고정한다. 성능을 보고 쉽거나 짧은 항목만 고르지 않는다.
3. 학습 전에 파일 해시·분할·측정 지표·누락 처리 방식을 고정한다. 원래 24개 예비 실험의 gate는 새 실사용 gate가 아니다.
4. BM25/비학습 기준선/FP32/INT8/3진을 같은 표본으로 평가한다. 관련성 분류와 후보 검색을 분리하고 최악 비용·폴백·언어/길이별 결과를 보고한다.
5. 실제 후보 검색 평가 및 반복 호출 비용까지 확인한 뒤 실사용 권장 여부를 판단한다. 2,400이라는 숫자만 채워서 승격하지 않는다.

현재 완료: 원천 20,604개 점검. 미완료: 2,400개 final 봉인 및 모델 평가. 기존 모델의 연구용 공개와 실사용 권장은 서로 다르며 이번 자료 준비 전에는 실사용 권장하지 않는다.

점검 재현 (원문은 위 pinned upstream에서 로컬 cache로 다운로드):

go run ./cmd/riido-corpusaudit \
  --input .cache/semantic-scale/cosqa-all.json \
  --sha256 4d1a227fe3652992d1e98f43fa9dc1b8f54a6c27a1a24b9d182bdfb8cbc3274c

점검 도구는 원문 질문·코드를 출력하지 않는다. 큰 파일 입력 한도, SHA 확인, 동일 코드로 이어지는 간접 누출 그룹 및 충돌 검사를 포함한다.

Completed 2,400-pair evaluation / 2,400건 평가 완료