PDCA 52: 실제 비교 실행과 2,400개 확보 준비

English · 봉인한 계획 · 전체 수치 · 2,400개 확보 계획

서로 다른 공개 개발 작업 3개를 요청 프로필 gpt-6-sol / low, gpt-6-luna / low로 각각 수행했다. 고정한 6개 CLI 시도를 모두 기록했다. 독립 검사에서는 6개 후보의 선언된 변경 범위를 모두 수용했으나, 실행 종료와 사용량까지 확인된 시도는 5개다. 나머지 하나는 120초 제한에 걸렸고 사용량은 미확인이다.

이는 한 저장소·두 코드 가족의 작은 개발 비교다. 두 요청은 정확한 주석 변경이다. 실제 라우팅의 최종 2,400개 평가나 대표적인 모델 능력·비용 절감을 증명하지 않는다. 이전 요청을 다시 수행해도 고유 요청 수를 새로 늘리지 않는다.

Plan

중단한 계획 51의 원본 기록과 파서 재해석은 그대로 남겼다. 기존 계획을 재개하거나 지원되지 않는 모델을 몰래 바꾸지 않았다. 설치 CLI에서 설정·캐시 없는 임시 로그인 공간으로 읽기 전용 카탈로그를 갱신한 뒤 별도 계획 52를 봉인했다. 새 카탈로그에는 6 Sol과 Luna의 low가 표시됐고 6.1 Sol은 없었다. 숨겨진 카탈로그 항목·로그인 자료는 게시하지 않는다.

카탈로그는 실행 접근권이나 백엔드 모델의 증명이 아니다. 이번 완료된 실제 시도는 해당 요청에서 두 요청 프로필의 접근 가능성을 확인했다. CLI 기록에는 제공자가 증명한 모델 ID가 없으므로 모든 observed_model은 unknown이다. 공식 카탈로그·접근 확인 안내

• 계획 SHA: a41adfef1c45067a9988e0d8d755e3b7d4687fd043b176f5ab6b258e9362d67d
• 결과 전 계획 commit: d202ff042106ad36209ef4cdee6ca1e1c9e64514
• 실행기: 변경 없는 main 146b02b9c37e6d90a11386050ccfdffc036c113e의 깨끗한 -trimpath 빌드
• 실행기 SHA: db450397f2f64715bbbcb463990c058b3b0954df97197d2f325b1af82fb132a5
• CLI: 0.158.0, 바이너리·Go1.27.1·공개 원본·작업 명세는 사전에 고정
• 최대 6회, 동시 실행 1개, 본 실행 120초·독립 검사 45초, 실행기 재시도·재개·대체 없음

기존 ChatGPT 로그인을 사용하는 승인된 공개 작업 시험이다. API-key 요금이나 새 클라우드 작업·endpoint·구매 크레딧을 추가하지 않았다. 구독 잔량·금액·백엔드 내부 호출·재시도 수는 미확인이다.

Do / Check

순서	작업 / 요청 프로필	본 실행 ms	독립 검사 ms	범위 수용	종료·사용량
1	preview 주석 / Sol6	26,644	1	수용	exit0·확인
2	preview 주석 / Luna	17,555	1	수용	exit0·확인
3	budget 주석 / Luna	17,211	4,140	수용	exit0·확인
4	budget 주석 / Sol6	25,788	4,189	수용	exit0·확인
5	최소 문맥 기능 / Sol6	119,929	4,536	수용	시간 제한·미확인
6	최소 문맥 기능 / Luna	39,510	4,381	수용	exit0·확인

검사 ms는 실제 기록값이다. 본 실행 ms는 preflight·부모 도구 준비·독립 검사를 포함하지 않는다. 정답·형식·고정 원본 테스트로 선언한 범위만 판단했으며 범위 밖 추가 파일·캐시 등은 미평가다. preview 주석의 두 시도(1·2번)에는 기능 테스트가 없고, 나머지는 고정 독립 검사를 실제 실행했다. 후보가 작성한 테스트는 수용 근거로 사용하지 않았다.

순서	입력	그중 캐시	출력	선택 reasoning
1	54,198	31,360	407	0
2	31,362	23,808	222	0
3	41,851	33,792	234	0
4	65,186	52,992	428	0
5	미확인	미확인	미확인	미확인
6	98,881	83,200	1,145	0

캐시 입력은 입력의 부분이며 reasoning은 출력의 부분이다. 다섯 확인된 시도의 입력 합계 291,478·그중 캐시 225,152·출력 2,436은 알려진 부분의 합이다. 5번 비용이 없으므로 전체 실험 사용량은 미확인이며 이를 전체 지출이나 0원으로 표시하지 않는다. 본 실행 시간 합계는 246,637ms, 독립 검사 합계는 17,248ms다. 원격 모델의 CPU/GPU·메모리는 측정하지 않았다.

5번은 후보 변경을 독립 검사한 결과와 실행·사용량 상태를 분리해야 하는 사례다. 변경은 수용됐지만 실행이 정상 종료하지 않았고 완료 turn 사용량도 없었다. 이를 코딩 불능으로 바꾸거나, 알려진 사용량 비교에서 제외한 뒤 전체 절감률을 만들지 않았다. 재시도하지 않았다.

모든 시작 시도는 영속 시작·종료 기록, 완전 캡처의 해시·바이트 수, 프로세스 그룹 회수, 임시 로그인 제거를 기록했다. 공개 attempt-52-01부터 06까지의 JSON은 비공개 영속 종료 기록과 byte-identical이었다. 원시 trace·인증·로컬 절대 경로·모델 본체는 공개하지 않는다.

Act

두 주석 요청에서는 같은 작업의 수용과 사용량 비교가 가능해졌다. Luna의 관측 시간이 더 짧고 토큰도 적었지만 두 작은 사례의 기술적 관찰이다. 워크로드 절감·구독 효율 또는 더 큰 모델이 항상 필요 없다는 근거가 아니다. 기능 요청의 Sol6 사용량이 없어 세 요청의 전체 비용 비교도 완성되지 않았다.

Laya의 기존 세 CPU 사전 예측은 임계값 0.9에서 모두 보류한 기록으로 보존한다. 기존 standard의 6.1 Sol 매핑을 이번 6 Sol의 새 예측으로 해석하지 않았고, 새 Laya 실행·학습·임계값 변경·운영 등록도 하지 않았다. 이전 cold 전체 프로세스 최대 RSS 약 1.48GB는 초소형 메모리 목표를 충족한 값이 아니다.

확대 준비로 별도 versioned 행동 계약을 추가한다. 첫 대상 repo-keyword-language-guard는 선택된 저장소 후보의 키워드까지 기존 문자 보호를 적용하는 작업이다. 원본 revision·파일·LICENSE/NOTICE·명세·독립 검사·필수 package/test 종료를 묶는다. 변경 없는 기준, 독립 정답 후보와 알려진 오류 후보로 수락기를 점검한다. 이 새 행동 요청의 실제 모델 결과는 아직 없다. 이번 6회는 이를 사용하지 않은 기존 실행기로 수행했다.

게시 전 독립 검토에서 중간 키워드나 세 번째 이후 후보를 생략하는 두 잘못된 구현의 수용을 발견했다. 새 계약을 후보 수 1~8의 모든 선택 위치와 32개 키워드 위치, 네 문자 종류에 대해 강화하고 두 오류 구현을 회귀 검사에 추가했다. 내부 4,608개 키워드 검사는 한 요청의 수락기를 검사하는 assertion이며, 골든셋 4,608개를 새로 확보했다는 뜻이 아니다. 기존 봉인한 세 요청의 명세는 바꾸지 않았다.

확보 계획은 개발 12~24→120→240 이상, 별도 학습·선택·보정, 영역별 최종 2,400 이상을 구분한다. Go final의 서로 다른 여섯 작업 종류, 30개 이상 저장소·한 저장소 비중 10% 이하 수집 목표, 연결 그룹·저장소 분리, 두 프로필 비교 최소 4,800 CLI 시도와 미확정 비용 처리도 명시한다. 숫자는 앞으로의 목표이며 확보·실행 결과가 아니다. 검색 protected final 2,402개는 계속 미평가다. 새 가중치 배포나 운영 라우팅 활성화는 하지 않았다.

CI에서 발견한 실행기 정리 문제

첫 PR73 CI는 Linux·비밀 검사에 통과했지만 macOS의 하위 프로세스 종료 검사에서 실패했다. 해당 테스트에서는 정리를 확인하지 못한 후보를 스냅샷하거나 수용하지 않았다. 실제 6개 모델 시도의 원본 종료 기록과 구별되는 실행기 테스트 실패다.

로컬 반복 검사에서는 수정 전 20회 중 2회 실패했다. 독립 재현에서는 종료했지만 아직 회수하지 않은 좀비만 남은 프로세스 그룹에 신호를 보낼 때 EPERM, 회수한 뒤에는 ESRCH를 관측했다. 이는 Apple XNU의 그룹 신호 처리와 일치한다. CI 로그 자체가 당시 errno를 입증한 것은 아니다.

수정은 기존 2초 제한 안에서 일시적인 EPERM을 다시 확인한다. ESRCH로 그룹 부재를 관측해야만 정리가 완료되며, 계속 EPERM이거나 살아 있으면 cleanup_unknown을 유지한다. 제한·수용 조건을 낮추지 않았다. 오류 시퀀스 검사와 실제 종료 반복 검사, 독립 검토를 통과했으며 수정한 commit의 CI가 별도 병합 조건이다.