실험 51: 실제 두 시도를 기록하고 비교를 중단한 이유

English · 수치 기록 · 사전 계획

실제 Codex CLI 두 시도의 결과를 연결했지만, 두 프로필의 성능 비교는 하지 못했습니다. 첫 luna-low 시도는 코드를 수정하고 사용량까지 기록했으나 정확한 주석 변경 요구사항을 통과하지 못했습니다. 두 번째 sol-low 시도는 요청 프로필이 지원되지 않는다는 서비스 오류로 종료했고, 초기 오류 이벤트의 처리 공백도 드러났습니다. 계획의 중단 조건에 따라 나머지 네 시도는 실행하지 않았습니다.

무엇을 계획했고 실제로 어디까지 했나

계획 50은 실행기 패키징 문제로 모델 본 실행 전에 중단했습니다. 그 결과를 보존하고 도구 경로를 수정한 뒤, 같은 작업·프로필·순서· 임계값·한도의 별도 계획 51을 미리 고정했습니다.

범위	수
계획한 Codex CLI 본 실행	6
직접 시작하고 종료 결과를 회수한 CLI 본 실행	2
중단 후 실행하지 않은 계획 항목	4
계획에 포함한 서로 다른 공개 개발 작업	3
계획에 포함한 코드 가족	2
실제 실행한 작업	comment-preview-authority 한 작업
실제 후보 변경이 나온 요청 프로필	luna-low 한 프로필
독립 검사를 통과한 후보	0

두 실행은 같은 공개 주석 작업의 요청 프로필만 바꾼 시도입니다. 두 개의 독립 작업도, 두 개의 모델 능력 결과도 아닙니다. 각 CLI 안의 내부 모델 요청과 공급자 재시도 횟수는 여전히 미확정입니다.

첫 번째 시도: 정상 종료와 작업 성공은 다르다

첫 번째 원본 수치 기록은 계획 순서 1의 luna-low, 즉 gpt-6-luna / low 요청입니다. CLI는 종료 코드 0으로 끝났고 기록된 wall_millis는 17,401 ms였습니다. 프로세스 그룹 정리와 복사한 인증의 제거도 확인했습니다. 요청값은 직접 자식 CLI에 전달한 값이며, 공급자가 증명한 모델 식별자는 없어 observed_model은 unknown입니다.

후보는 주석을 수정했지만, 요구한 문장의 마지막 마침표를 누락했습니다. 미리 고정한 검사는 의미가 대략 비슷한지를 판단하는 검사가 아니라 정확한 변경 계약을 확인하므로 rejected / not_exact_comment_change로 거절했습니다. 결과를 본 뒤 계약을 완화하거나 성공으로 다시 세지 않았습니다. 이번 주석 작업은 후보 코드를 실행하지 않는 정적 계약 검사입니다. 검증 기록의 independent_tests: 0과 execution_isolated: false는 후보 행동 테스트를 실행하지 않았다는 뜻이며, 실행기의 별도 권한 확인 결과와 구분해야 합니다.

첫 실행에서 완전히 관측한 기본 사용량	토큰
입력	53,150
캐시 입력	43,776
출력	338
reasoning 출력	0

사용량이 완전하게 기록됐다는 사실과 작업이 수용됐다는 사실은 다릅니다. 캐시 입력은 입력에, reasoning 출력은 출력에 이미 포함되므로 다시 더하지 않습니다. 이 값은 금액·구독 사용량·남은 계약량이 아니며, 짧은 주석 변경의 요청 문장 길이나 순수 생성 지연만을 나타내지도 않습니다. CLI 프로세스 시간과 독립 검사 시간도 구분합니다.

이 한 사례는 해당 요청·설정에서 정확한 주석 계약을 지키지 못했다는 관측입니다. 작은 모델 전체의 실패율, 작업 난이도 보정이나 다른 저장소의 성능을 알려주지는 않습니다.

두 번째 시도: 지원되지 않는 프로필과 초기 오류 이벤트

두 번째 원본 수치 기록은 계획 순서 2의 sol-low, 즉 gpt-6.1-sol / low 요청입니다. CLI는 종료 코드 1, wall_millis 1,798 ms로 끝났습니다. 비공개 오류 원문을 공개하지 않고 다음 관측만 남겼습니다.

• provider_error_matches_unsupported_pattern: true
• provider_error_mentions_chatgpt_account: true
• authentication_error_observed: false
• timeout_error_observed: false
• observed_model: unknown

이는 이번 로그인·클라이언트·요청 조합에서의 관측입니다. gpt-6.1-sol이 모든 계정에서 지원되지 않는다는 뜻은 아니며, 가용성 실패의 구체적 원인은 확인하지 않았습니다. 공식 문서도 이용 가능 여부가 배포 진행, 로그인 방식과 클라이언트에 따라 달라진다고 설명합니다. OpenAI 모델 안내를 참고하세요.

이 실행의 이벤트 순서는 thread.started 뒤에 item.completed의 error 항목이 나오는 형태였고, 그때까지 turn.started가 없었습니다. 기존 집계기는 이 초기 진단 형태를 처리하지 못해 summary_status: parse_failed, 내부 진단은 invalid_lifecycle로 기록했습니다. 기본 사용량은 관측하지 못해 **null**이며, 0토큰이나 무료 실행으로 해석하지 않습니다. 전체 control 이벤트 순서는 thread.started → item.completed → turn.started → error → turn.failed였습니다. 첫 item.completed가 turn보다 앞섰다는 점이 기존 집계기의 호환성 공백이며, 실제 turn 실패도 별도로 남아 있습니다.

후보 파일은 기준 그대로여서 독립 검사는 변경 없는 후보를 거절했습니다. 이 거절은 파일 범위가 바뀌지 않았다는 검사 결과입니다. 지원되지 않는 프로필이 코딩 작업을 시도하다 능력 부족으로 실패했다는 라벨로 사용하면 안 됩니다.

프로필 가용성 오류와 집계기 호환성 문제를 구분해야 합니다. 초기 오류를 정확히 읽게 고치더라도 이미 실행한 파일이 개선되거나 사용량이 새로 관측된 것은 아닙니다. 원본 실행 기록은 유지하고, 재해석을 한다면 별도 버전의 기록으로 연결해야 합니다.

중단 후 수정한 파서 67c583173d0653aa4d5732ffeadd87f4fd124099로 같은 비공개 기록을 다시 읽은 별도 재해석은 초기 오류 항목 1개, 실패한 turn 1개, 최상위 오류 이벤트 1개를 확인했습니다. 원문 bytes의 해시는 원본 실행 기록과 같습니다. 모든 사용량은 여전히 null이며 모델을 다시 호출하지 않았습니다. 원래 두 번째 시도의 parse_failed 기록도 보존합니다.

왜 나머지 네 시도를 멈췄나

첫 후보의 거절만으로는 고정 비교를 중단하지 않았습니다. 두 번째 시도에서 요청 프로필의 가용성 실패와 측정 이벤트의 호환성 공백을 확인하여 측정 무결성 조건에 따라 중단했습니다. 예산 기간 주석과 최소 문맥 조건의 네 항목은 not_executed_measurement_integrity_stop으로 남깁니다. 지원되는 다른 모델로 조용히 바꾸거나 실패한 요청을 재시도하여 좋은 결과만 남기지 않았습니다.

따라서 두 프로필의 작업 성공률·사용량·시간을 같은 조건에서 비교할 수 없습니다. 첫 시도의 사용량이 알려졌어도 두 번째는 미확정이고, 실제 코드 후보는 첫 프로필에서만 나왔습니다. 상향·하향 라우팅의 유용성, 사용량 절감, 비용 절감이나 보정된 난이도를 입증한 결과가 아닙니다.

실행기와 사전 Laya 예측의 근거

실행기 소스는 14fdad230ad6cebbee194b09ed8b6df7916a19cc이며, 깨끗한 소스의 -trimpath 바이너리 SHA-256은 e7164ebe838a85a8d3fe87a82c5a32ceed65c98e5aa1b0643cb34f682be5e65c입니다. 이는 riido-taskrun 실행 파일의 해시입니다. 별개로 확인한 Go 도구는 Go 1.27.1이며 계획의 도구 실행 파일 해시는 132b69336a1f809932a8a20b0201dbbb980e86e3a323ae32e893639d83d71598입니다. 공개 작업 기준은 6b2c1bdfd38bea5a9a2c11433ffcfcb94c4143a3입니다.

계획 51은 기존의 사전 Laya CPU 예측 세 개를 변경 없이 참조했습니다. 임계값 0.9에서 세 요청 모두 보류했고, 세 차가운 프로세스의 최대 RSS는 각각 대략 **1.48 GB (1.38 GiB)**였습니다. 모델·native session을 새로 불러오는 비용을 포함한 관측이며, Go heap이나 GPU 메모리 또는 코딩 모델 자원이 아닙니다. 새 예측 세 개, 새 독립 작업이나 아주 작은 메모리 목표 달성으로 세지 않습니다.

다음 단계와 남아 있는 목표

초기 오류 이벤트의 파서는 수정했고, 작성한 양성·음성 예제와 입력 한도·원문 비노출 검사를 통과했습니다. 전체 Go race·vet 검사도 통과했습니다. 배포 형태의 별도 검증기는 작성한 예산 주석 후보를 격리된 검사 16개 이벤트로 수용했으며, 이는 모델 성과와 구분한 도구 검사입니다. 다음은 실제로 사용할 수 있는 명시적 프로필을 확인한 뒤 별도 사전 계획으로 다시 비교하는 것입니다. 새 실행은 새 기록으로 남기고 원본 결과를 유지해야 합니다.

현재 자료는 개발 작업 세 개·두 가족의 측정 절차 검증입니다. 영역마다 서로 구분되는 최종 요청 최소 2,400건의 목표는 그대로 남아 있습니다. 실행기와 프로필 검증이 갖춰진 뒤 서로 다른 개발 작업과 독립 원천을 늘려야 합니다. 새 학습·가중치 게시·final 채점·확률 보정·임계값 변경·실사용 라우팅 활성화는 하지 않았습니다.

실행 가이드, 사용량과 독립 검사, 골든셋 규모와 분리를 함께 참고하세요. 계획 SHA-256은 acf4786f7330529e04af12d4f7dbf40b0bbc2b6a9c527ecb879aee9d8c1510b0입니다. 공개 자료에는 인증·비공개 오류 원문·로컬 절대 경로·원문 실행 기록·모델 본체를 넣지 않습니다.

Reviewed source / 검증 대상 원문