2,400개 평가를 실제로 준비하는 순서

English · 현재 규모와 분할 원칙

24개 수준의 작은 시험은 동작을 확인하는 개발 자료다. 다음 성능 판단은 주장하는 영역마다 서로 구분되는 최종 요청 최소 2,400개를 목표로 한다. 2,400개 후보 중 쉬운 24개만 골라 실행해도 최종 평가가 되는 것은 아니다. 이미 읽고 설계에 사용한 24개는 개발 자료로 남긴다.

이 문서는 확보·실행 계획이다. 2,400개의 실제 라우팅 정답을 확보했다는 보고가 아니다. 검색 관련성 쌍, 파일 검색 요청, 실제 모델 선택 요청, 저장소 선택 요청, 분할의 부모 요청은 각각 따로 센다.

수집보다 먼저 준비할 것

실제 코딩 라우팅에서는 한 요청마다 공개 원천과 revision, 이용·재배포 범위, 작업 가족, 변경 가능한 파일, 정확한 완료 조건, 독립 검사와 그 해시를 고정한다. 변경하지 않은 기준은 거절하고, 독립적으로 작성한 올바른 구현은 통과하며, 알려진 잘못된 구현은 거절하는지 확인한다. 모델이 만든 테스트나 기존 테스트 통과만으로 요청 완료를 인정하지 않는다.

현재 누적 개발 관측은 고유 요청 7개·실제 시도 가족 5개·CLI 기록 20개·저장소 3개다. 55 이전의 역사적 소계는 한 저장소의 고유 요청 5개·세 가족·16기록이며, 그중 두 요청은 주석 변경이다. 같은 요청의 반복과 한 계약의 테스트 수를 2,400개 요청으로 부풀리지 않는다. 실험 53의 키워드 보호는 새 행동 요청 하나·네 반복이고, 실험 54의 파서 경계 요청도 새 요청 하나·네 반복이다. 54의 네 시도 모두 독립 검사 75개·정상 종료· 전체 기본 사용량을 확인했지만 일반 성능·금액 절감을 입증하지 않는다.

공개 원천 120개의 실행 적격 0개는 53 시점의 역사적 snapshot으로 보존한다. 54에서 그중 외부 두 요청의 독립 계약을 로컬에서 준비·검사했으며, 그 준비 시점에는 외부 모델 실행·학습 라벨·final 적격이 0개였다. 컴파일된 검사 작업 7개·3개 저장소와 로컬 후보 registry 8개는 다른 범위이며 합산하지 않는다. 별도 버전 계약으로 파일·revision·독립 검사·LICENSE/존재하는 NOTICE를 묶고, 과거에 봉인한 계획과 정답 검사는 수정하지 않는다.

실험 55는 이 기존 외부 두 논리 요청을 명확한 v2 전체 Prompt·원본 모듈 언어 조건으로 각각 두 요청 프로필에서 실행했다. CLI 네 시도 중 세 후보가 독립 검증을 통과했다. humanize는 양쪽 요청 프로필이 통과했고, UUID는 Luna low가 실패하고 Sol low가 통과했다. UUID 실패는 오류 시 부분 UUID를 반환하는 소스상 경계 조건 누락이며, 후보 소스 정적 검토만 했고 재실행하지 않았다. 새 버전이 컴파일된 registry에 추가한 논리 요청은 0개이며, 실제 관측 범위만 5개에서 7개로 늘었다. 기계 판독 결과를 기준으로 센다.

네 실행 모두 전체 사용량과 정리 영수증이 있지만, 실제 제공된 모델 정체는 미확인이다. 사용자 요청에 따른 슬롯 2·3 사이 일시정지와 캐시 차이, 프로필별 요청당 한 관측을 명시한다. 전체 Prompt를 그대로 쓴 사전 Laya 예측 두 건은 입력이 잘려 보류했다. 따라서 기본 라우팅의 절감·일반 모델 순위·초저자원 목표 달성은 입증하지 않았으며, 학습·final 채점·새 가중치 배포도 수행하지 않았다. 실제 개발 관측 7개는 적격 학습 라벨이나 라우팅 final 2,400개가 아니다.

초기 실제 코딩 영역은 공개 Go 작업으로 한정한다. 다른 언어·비공개 저장소·임의의 Codex 작업에 대한 성능 주장은 별도 자료 없이는 할 수 없다. 다음 수치는 수집 목표이며 확보 수가 아니다.

단계	요청 수 목표	진행 조건
측정 준비	12~24	시작·종료·실패·완료 판정과 전체 사용량을 연결한다.
범위 확장	120	서로 다른 기능·버그 가족과 여러 공개 저장소를 확보한다.
학습 신호 검사	240 이상	두 프로필의 성공·실패 차이, 모두 성공·실패와 변동성을 확인한다.
학습·선택·보정	각각 별도 자료	실제 라벨 확보 비용과 그룹 크기를 보고 수를 고정한다. final을 사용해 선택하지 않는다.
최종 평가	2,400 이상	정책·분할·검사·비교군·누락 처리·실행 예산을 먼저 봉인한다.

단계 수는 프로젝트의 실행 제안이며 통계적 보장이나 자동 학습 승인 조건이 아니다. 쓸 수 있는 신호가 없으면 학습 횟수를 늘리기 전에 원천과 목표를 수정한다. 수정에 본 자료는 개발 자료가 된다.

요청의 종류와 연결 그룹

Go 코딩 final의 최초 수집 구성안은 다음과 같다. 수집 가능성과 권리를 확인한 뒤 결과를 보기 전에 별도 사전 계획으로 확정한다. 임의로 고른 비율이 실제 사용자 작업의 발생 비율을 나타내지는 않는다.

작업 종류	제안 요청 수
오류·nil·경계값을 포함한 버그 수정	600
API·설정·스키마 변경	480
파싱·텍스트·검색 동작	480
취소·상태 전이·재시도 계약	360
동시성·메모리·할당 계약	240
여러 구성 요소의 연결·호환성	240
합계	2,400

최종 원천은 공개 저장소 30개 이상, 한 저장소의 비중은 10% 이하를 수집 목표로 삼는다. 이것만으로 독립성이 생기는 것은 아니다. 같은 코드·템플릿·버그의 변형, 번역, 부모·자식·형제, fork와 복제된 소스는 연결 그룹으로 묶는다. 새 저장소에 대한 일반화를 평가할 때는 저장소 전체를 분리하며, final 저장소를 학습·선택·보정에 사용하지 않는다. 총 요청 수, 저장소 수, 연결 그룹 수와 각 구간의 확보·제외 수를 함께 보고한다.

사람이 예상한 fast/standard/strong은 난이도 가설이다. 정답은 동일한 요청에서 실제 실행한 프로필의 독립 완료 판정과 전체 비용에서 얻는다. 큰 모델이 항상 더 잘한다는 순서를 강제하지 않는다.

실제 실행 예산과 라벨

2,400개 요청을 두 프로필로 모두 비교하면 최소 4,800번의 CLI 시도다. 재시도·승격·분할 자식·반복 실험은 추가 실행이며 고유 요청 수를 늘리지 않는다. 전체 실행에 앞서 최대 시도 수, 시간, 동시 실행 수, 중단 조건과 가능한 계정 사용 한도를 별도 계획에 고정한다. 공개 자료 수집과 검사 준비는 이 대규모 추론 실행을 시작했다는 뜻이 아니다.

개발 단계에서 일부 요청을 반복할 대상과 횟수를 먼저 고정해 결과의 변동성도 본다. 두 프로필 비교는 네 결과를 모두 보존한다.

• 둘 다 성공: 낮은 전체 비용으로 완료할 수 있는 후보.
• 작은 프로필 실패·큰 프로필 성공: 승격이 유익할 수 있는 후보.
• 작은 프로필 성공·큰 프로필 실패: 고정된 능력 서열의 예외.
• 둘 다 실패: 어느 프로필도 성공 정답으로 강제하지 않는다.

한 번의 결과는 그 실행의 근거이며 영구적인 능력 라벨이 아니다. 사용량 미확인은 0이 아니다. 서비스의 프로필 지원 오류는 코딩 능력 부족이 아니다. 실패·재시도·승격·보류·독립 검사의 시간과 사용량을 포함하고, 캐시 입력과 reasoning을 각각 입력과 출력에 중복 합산하지 않는다. 구독 잔량·금액·백엔드 호출 수를 관측하지 못하면 미확인으로 남긴다.

라우팅의 비교군은 명시적인 고정 프로필, 규칙, 보류를 보존하는 제안 정책으로 준비한다. 임계값은 별도 calibration에서 정하고 final에서는 바꾸지 않는다. RouteLLM은 모델 간 선호와 품질·비용 절충을 학습하는 참고다. 해당 논문의 대화형 선호 라벨은 우리의 코드 완료 테스트와 같지 않으며, 논문의 절감 수치를 이 프로젝트의 성과로 옮기지 않는다.

다른 영역의 2,400개

저장소 선택은 원래 요청 2,400개마다 접근 가능한 후보 snapshot, 권한, 허용되는 저장소 집합, 다중 정답과 정답 없음·보류 조건을 고정한다. 후보 수나 같은 요청을 실행한 카탈로그 크기가 요청 수는 아니다. 후보 포함률과 최종 추천 품질을 따로 본다.

작업 분할은 부모 요청 2,400개가 단위다. 자식·형제·여러 계획은 부모와 같은 그룹이다. 계획의 구조 검사와 실제 실행 효용을 구분한다. 분할 없음·규칙·모델 제안을 비교할 때 부모 작업의 완료율, 생성·실행·재시도·병합·통합 검사의 전체 비용을 함께 측정한다. 유효한 DAG 2,400개만으로 작업이 빨라졌다고 말할 수 없다.

24와 2,400의 차이를 읽는 예

독립적이고 동일한 오류 확률을 갖는 표본이라는 가정에서 오류 0건일 때, 이항분포로 계산한 단측 95% 오류율 상한은 1 - 0.05^(1/n)이다. 24개에서는 약 11.7%, 2,400개에서는 약 **0.125%**다. 실제 관측 성능이 아닌 설명용 계산이다. NIST의 작은 표본·드문 실패 신뢰구간 안내는 정답률 하나보다 불확실성을 함께 보아야 하는 근거다.

연결된 템플릿 2,400개에는 이 독립 표본 계산을 그대로 적용하지 않는다. 전체 2,400개 중 실제 추천이 40번이면 추천 오류율의 분모는 40이다. 그 40번에서 오류 0건이어도 같은 계산의 상한은 약 7.2%다. 추천·보류 비율과 추천한 구간의 오류, 저장소·언어·작업 종류별 실패를 함께 보고한다. 2,400은 충분한 증거를 모으기 위한 시작 하한이며 편향이나 잘못된 검사기를 해결하지 않는다.