저장된 정답으로 확인한 작은 힌트의 개선 여지

English · 사전 계획 · 사용법 · 원문 결과 · 다음 준비

후보를 더 좋은 순서로 확인할 여지는 있었다. 가장 좋은 고정 기준은 91회, 정답을 미리 아는 이상적인 순서는 73회였다. 차이는 18회, 약 19.8%다. 이는 작은 모델을 더 준비할 근거이며, 모델이 달성한 개선이나 실제 Codex 비용 절감은 아니다. 이번에는 모델과 학습을 실행하지 않았다.

예를 들어 후보 세 개 중 두 번째만 요구를 만족한다면, 원래 순서는 두 번 확인해야 한다. 정답 후보를 먼저 제안하는 힌트라면 한 번으로 충분할 수 있다. 반대로 모든 후보가 틀린 요청은 전부 확인해야 한다. 힌트가 후보를 삭제하거나 독립 검사를 대신하지 않도록 이 비용을 유지했다.

무엇을 비교했나

기존 공개 개발 자료 72개 요청과 216개 후보 설명을 그대로 사용했다. 답 있음 34개, 답 없음 17개, 판단 보류 21개다. 보류는 오답으로 바꾸지 않고 비용·Top 지표에서 제외했으며, 전체 분모와 관계·이유에는 남겼다. 비용을 계산한 요청은 51개다.

고정 방식	알려진 51개 요청의 확인 수	답 있는 34개의 확인 수	첫 후보 정답	첫 3개 안에 정답	규칙 fallback / 전체 72개
원래 순서	109	70	6 / 34	34 / 34	0 / 72
BM25	91	52	20 / 34	34 / 34	0 / 72
단어·순서 특징	92	53	19 / 34	34 / 34	0 / 72
좁은 규칙	91	52	20 / 34	34 / 34	72 / 72
정답을 아는 oracle	73	34	비교 대상 아님	비교 대상 아님	적용 안 함

좁은 규칙은 모든 요청에서 BM25로 복귀했다. 따라서 별개의 규칙 성능 향상으로 세지 않는다. BM25와 동률이면 사전 고정 배열 순서를 따라 BM25를 선택한다. 요청마다 유리한 방식만 골라 만든 합성 기준은 사용하지 않았다.

후보 수는 요청별 2~4개여서 Top3는 쉽게 포화된다. 모든 방식의 34/34 결과를 높은 일반 의미 이해 성능으로 읽으면 안 된다. 답 있는 요청만 보면 oracle까지 남은 여지는 18/52, 약 34.6%지만, 사전 판정에는 답 없음도 포함한 **18/91 = 19.7802%**를 사용했다. 정수식 100*18 >= 5*91로 필요 하한 5%를 통과했다.

전체 연결 그룹 17개와 라벨 그룹 16개는 기존 하한 15를 이미 충족한다. 라벨이 있는 16그룹의 평균 확인 수를 다시 평균한 값은 BM25 약 1.760417, oracle 약 1.437500이다. 이 추가 진단은 전체 비용 기준을 대체하지 않는다. 그룹별 결과는 원문에 모두 보존했다.

관측과 준비 실패를 함께 보존했다

공식 실행은 1회, 재시도 0회였고 72개 요청 모두 완료했다. dispatch 72, 입력 검증 72, Baselines 호출 72, 반환된 네 방식의 순위 288개, 완료 행 72개를 구분한다. 288개를 독립 요청 수로 세지 않는다. 후보 함수·원천 API 재실행, 모델·유료 호출, 학습, 새 가중치, 역할 배정, 보호 최종 자료 접근은 모두 0이다.

수집 원장에 공식 실행과 준비 시도를 분리해 기록했다. 로컬 전체 race·vet·Go 형식 검사와 유지보수 공개/PDCA 검사를 통과했다. 원격 CI 결과는 이후 별도로 확인한다.

공식 순위 계산 전 계획 생성은 세 번 시도했다. 첫 번째는 build recipe의 JSON escape가 요구 형식과 달라 storedutility_noncanonical_json으로 중단됐다. 설정을 고치고 실제 설정 파일 검사도 추가했다. 두 번째는 존재하지 않는 commit 인자를 잘못 전달해 storedutility_git_pin_mismatch로 중단됐다. 세 번째는 실제 source commit으로 성공했다. 두 준비 실패 모두 순위 계산 전에 발생했으며, 숨기거나 공식 평가 재시도로 바꾸지 않았다.

고정 대상	기록
Source freeze	3c2bde94db7661bf5cdb268f0a2ede0f0b962a94
Input freeze	bb2e6d2d137ce0626ccbfba1ee591a9814ec8153
실행 계획, 5,402 bytes	SHA256 c85c048831c6a3807656fccdba967251574b88b5764cbf708c6b38575d8e1893
공식 결과, 184,532 bytes	SHA256 48bbb4dd10ee5cf34f4edb7e746f0a0f7c85afd53b6513b62ea8442dac2768e6
실제 실행 파일, 4,872,258 bytes	SHA256 fb7153b55b9351fcfb69ef881e1fb49a2ab69fc184adccebc5f6d2b6cc5510c8
실행 환경	Go 1.27.1, CGO 0, Darwin arm64

실행 전 source 9개·support 13개·입력 3개·계획 1개의 실제 Git 원문 26개를 대조했고 독립 검토도 통과했다. 실행 파일은 Git에 올리지 않았다. 사전 계획의 제한과 Linux/macOS 점수 비교 허용치는 변경하지 않았다.

이 결과로 무엇을 할 수 있나

training_ready=false를 유지한다. 같은 합성 영어 작성 흐름, 미완성 역할 계획과 학습 실행 계획 때문에 곧바로 모델을 학습하거나 운영 라우팅에 적용할 단계는 아니다. 문구가 짧은 입력 안에서 실제 동작을 충분히 설명하는지, 다른 공개 원천으로 옮겨도 통하는지부터 확인한다. 그다음 각 연결 그룹의 구성원 모두를 학습·개발 검증·보정 중 하나의 역할에 함께 배정하는 계획을 별도로 고정한다. 이미 본 개발 자료를 미관측 검증이나 최종 평가라고 부르지 않는다.

이번에는 CPU/RSS/GPU/지연이나 토큰·요금 절감을 새로 측정하지 않았다. GOMAXPROCS 1과 Go heap 256MiB soft limit은 설정이다. 이전 단계의 자원 측정은 이전 범위의 기록으로 유지한다. CI 반복은 같은 결과를 재현하는 검사이며 새 공식 실험·독립 표본이 아니다. 기존 56a/b/c/d/e/57 결과와 pending/unknown도 바꾸지 않았다.

다음 준비와 중단 조건은 별도 계획에 기록했다. 도메인별 2,400개의 서로 다른 보호 최종 요청은 일반화·최종 효용 주장용 목표이며, 모든 개발 학습에 앞서 반드시 모아야 한다는 뜻은 아니다. 새로운 모델 가중치가 없어 이번 단계의 Hugging Face 모델 배포는 0이다. 이 문서 작성 시 원격 CI는 실행 전이며, 실제 검사·병합 결과는 이슈에서 이어 기록한다.