CoNaLa 원천·고유 질문 감사 16

2,879행은 서로 다른 원래 질문 2,879개가 아니다. 고정 배포본을 Go로 감사한 결과 질문 ID는 2,074개, 정규화한 원래 질문 문장은 2,089개였다. 이 자료만으로 2,400개의 독립 사용자 질문을 확보했다고 주장하지 않는다. 학습·검색 점수 계산·모델 선택·소스 코드 실행은 하지 않았다.

항목	train	test	합계의 고유 수
행 수	2,379	500	2,879
질문 ID	1,710	364	2,074
원래 질문 문장	1,724	365	2,089
비어 있지 않은 재작성 문장	2,211	451	2,662
바깥 공백만 제거한 코드 조각	2,326	490	2,811

재작성 문장이 비어 있는 행은 102개, 원래 문장과 다른 비어 있지 않은 재작성은 2,758행이다. 한 질문 ID에 여러 문장 표현이 있을 수 있으므로 ID 수와 문장 수를 함께 보고한다. 정규화는 소문자·Unicode 공백 합치기뿐이며 의미가 같은 질문까지 찾은 것이 아니다.

train/test 사이 같은 질문 ID와 정규화된 원래 문장·재작성 문장은 없었다. 같은 코드 조각은 5개였다. 질문 ID·원래 문장·동일 코드 중 하나라도 같으면 연결한 그룹은 2,056개, 가장 큰 그룹은 14행이었다. 양쪽 split에 걸친 그룹 5개에는 총 29행이 속했다. 이는 중복 구조의 관찰이며 공식 벤치마크가 부정하게 만들어졌다는 주장이 아니다. Python 코드의 내부 들여쓰기는 보존했다.

원천과 권리

공식 CoNaLa 설명은 intent를 Stack Overflow 질문 제목으로, rewritten_intent를 코드 변수명·인자 등을 반영해 재작성한 문장으로 구분한다. 공식 ZIP 주소 https://www.phontron.com/download/conala-corpus-v1.1.zip는 2026-09-30 확인 시 HTTP 200이지만 text/html과 index.html을 반환했다. ZIP으로 처리하지 않았다.

대신 저자 연구실의 neulab/conala 고정 리비전에서 README와 curated JSONL 두 파일만 받았다. 파일 이름은 .json이지만 실제 형식은 JSONL이다. 원문 데이터는 합계 627,077바이트다. 약 60만 건의 mined 파일이나 데이터셋의 Python 실행 스크립트는 받거나 실행하지 않았다. 원래 ZIP과 바이트가 같다는 검증은 하지 못했으며 이번 결과의 원천은 명시한 HF 리비전이다.

HF 카드에는 MIT라고 적혀 있다. 반면 Stack Overflow 공식 안내는 원천 기여 시점에 따른 CC BY-SA 조건을 설명한다. 카드 표기를 모든 원천·추가 주석의 일괄 권리 허가로 간주하지 않는다. 이번 감사는 권리 허가나 모델 배포 적합성을 확정하지 않으며, 원문·질문 ID·행별 자료를 Git/HF에 재배포하지 않는다. 공식 baseline 코드를 복제하지 않고 Go 감사기를 독립 구현했다.

재현과 다음 선택

첫 실행 전에 plan-16.json을 커밋했고, source SHA-256을 확인한 뒤 파싱하고 기대한 행 수를 검사한다. 파일당 2 MiB·행당 256 KiB·행 수 상한이 있으며 알 수 없는 필드와 잘못된 JSON을 거부한다. 감사 집계는 재실행 시 바이트 단위로 일치했다. 연결 중복·빈 재작성·Python 들여쓰기·잘못된 입력을 테스트했다. 배열과 정렬, 서로 연결된 그룹을 합치는 배열 구조를 쓰며 공유 lock은 없다.

hf download neulab/conala README.md data/conala-paired-train.json data/conala-paired-test.json --type dataset --revision fbc749f1c537e5c3834e93b15784302e331debe2 --local-dir .cache/conala-16
go run ./cmd/riido-conalaaudit

Apple M4 Pro CPU에서 빌드된 감사기 실행은 wall 0.35초, user CPU 0.01초, 최대 RSS 11,796,480바이트였다. 한 번의 프로세스 실행 수치이며 처리량이나 모델 추론 속도가 아니다. GPU는 사용하지 않았다.

CoNaLa는 작은 원래 질문 기반 보조 평가 후보로 남기되, 단독 2,400개 최종 세트로 채택하지 않는다. 더 큰 자료를 검토하더라도 행 수·재작성·반복을 독립 질문 수로 늘려 세지 않는다. 권리와 정답 품질을 확인한 다른 실제 질문 자료 또는 여러 출처의 중복 제거가 다음 단계다. 아직 모델 성능은 평가하지 않았으며 기존 미사용 평가 reserve도 소모하지 않았다.

기존 평가 자료와의 구분

후속 확인에서 기존 CoSQA 미사용 reserve1/2에 고유 질문 2,403/2,401개가 각각 716/722개 연결 그룹으로 보존된 것을 재확인했다. 원천·분리 해시는 기존과 같고 이번에도 모델 점수는 계산하지 않았다. CoNaLa가 단독으로 부족하다는 결론을 모든 보유 자료의 부족으로 확대하지 않는다. CoSQA의 관련성 쌍 평가와 다중 후보 검색·실제 작업 성공 평가는 구분한다.

PR #39은 정확한 소스의 CI 36709194511 통과 후 병합됐다.