짧은 주장과 작은 Go 모델: 실험 56 준비 계획

English · 기계 판독 계획 · 골든셋 규모

현재 상태는 prepare_contracts_only다. 새 데이터 0개, 학습 0회, 가중치 0개이며 실행 성능도 아직 측정하지 않았다. 자료·분할·실행 계획의 준비 gate가 미완료라는 뜻이다. 사용자는 지속적인 로컬 학습·검증·공개 게시를 이미 승인했다. 준비 gate와 계획·CI가 갖춰지면 그 범위에서 진행하며 추가 사람 승인 절차를 만들지 않는다. 새 학습·모델 게시·production 활성화를 수행한 기록은 아니다.

목표는 큰 인코더 없이 많은 작은 힌트를 제공할 수 있는지 확인하는 것이다. 처음에는 **“이 후보에 요구한 동작을 충족하는 근거가 있을 것 같다”**는 주장 하나만 다룬다. 모델 난이도, 실제 작업 성공, 자동 승인이나 요금 절감까지 함께 예측하지 않는다.

기존 실험과 무엇이 다른가

실험 55는 외부 Go 요청 두 개를 두 프로필로 각각 한 번 실행한 네 시도를 완료했다. 프로필·요청 조합마다 한 번인 개발 비교여서 일반 성능이나 안정적인 성공률을 판단하기에는 부족하다. 사전 Laya 관측은 전체 원문을 전달했지만 512토큰에서 잘려 보류했다. 그 기록은 cold CPU 전체 프로세스 관측이며 작은 주장 모델의 자원 결과가 아니다.

56의 짧은 입력은 새로 작성하는 별도 계약이다. 55의 원문·정답·spec·해시·토큰 예산과 과거 봉인 계획은 그대로 둔다. 기존 요청을 줄여서 55를 다시 채점하거나 성공률을 높이지 않는다. 초기에는 생성 모델·자동 요약·Laya 인코더·교사 출력을 사용하지 않는다.

한정된 주장과 입력

예를 들어 요구가 “활성 항목은 남기고 만료 항목은 제거한다”라면, “만료 항목은 남기고 활성 항목은 제거한다”라는 후보와 구분해야 한다. 최초 영역은 조건에 따른 유지/제거, 허용/거절, 순서 보존과 포함 경계값처럼 독립 검사로 확인할 수 있는 동작이다.

새 입력에는 짧은 request, 짧은 candidate, 특징 계약 schema, 원천 연결용 provenance를 둔다. 텍스트만 특징 입력에 사용하며 정답 ID·후보 정답 순위·검사 결과·생성 모드·학습 역할은 넘기지 않는다.

제한	제안 계약
후보	요청당 1~8개
텍스트	요구와 후보 각각 유효 UTF-8, 최대 512바이트
정규화	요구와 후보 각각 lexicalhint.NormalizeText 적용 후 최대 512바이트·32단어
초과·실패	원문을 자르지 않는다. 범위 밖·알 수 없는 schema·비유한 점수는 명시된 어휘 기준 순서로 복귀한다.
공개 출력	unverified 점수·모델/특징 계약 해시·fallback 이유. 원문을 결과 로그에 보존하지 않는다.

단어 수만으로 한국어·영어에 동일한 정보량을 보장할 수 없다. 언어와 바이트/단어 길이 구간을 따로 기록한다. 입력 순서와 선택지 순서는 보존하며 정규화 함수를 학습·추론에서 동일하게 쓴다. 새 schema의 구체 이름과 해시는 실제 구현·검사 후 별도로 봉인한다.

점수는 보정된 성공 확률이나 행동 권한이 아니다. 후보를 삭제하거나 작업 완료를 확정하지 않고 검사 순서만 제안한다. 모든 후보를 유지한다. 알 수 없는 동작·모호한 요구·정답 없는 요청은 별도 상태로 기록하며 억지로 참/거짓 라벨을 붙이지 않는다.

공개 가능한 자료와 정답

먼저 자체 작성한 Go microcontract, truth table, 원본 짧은 요구와 후보를 준비한다. 후보의 관측 가능한 동작이 요구를 충족하는지는 독립 검사로 확인한다. 원본 잘못된 구현·올바른 구현·조건 반전·부정·경계 <=/<·동작 순서 반례를 검사하여 정답 생성기의 오류도 찾는다. 자연어가 truth table을 충실히 표현하는지는 따로 검토한다. 코드 테스트 통과만으로 자연어 라벨까지 자동 인증하지 않는다.

정답은 한 개 ID로 제한하지 않고 허용 가능한 후보 집합으로 둔다. 입력에 충분한 근거가 없는 사례와 검사 오류는 unknown으로 보고한다. 제외 이유는 모델 점수를 보기 전에 기록하고 원래 요청 분모와 제외 수를 함께 남긴다. no-answer·unknown을 실패한 모델이 맞힌 사례로 바꾸지 않는다.

개발 준비 목표는 부모 계약 후보 48~120개다. 실제 확보 수는 0개다. 이것은 독립 그룹 48~120개 목표나 보증이 아니다. 원형·소스·핵심 템플릿을 공유한 변형은 하나의 연결 그룹이 될 수 있다. 무작위 이름·상수·번역을 늘리는 것만으로 새로운 독립 요청을 확보하지 않는다.

공개 원천 120개와 외부 두 계약은 추후 별도 개발 전이 probe의 후보로 검토할 수 있다. 이미 본 자료를 새로운 final로 쓰지 않는다. 외부 자료를 실제 채택하기 전에는 revision·LICENSE/NOTICE·이용/배포 범위·독립 정답을 다시 고정한다. 비공개 코드, 실제 사용자 프롬프트, 인증 정보와 원시 실행 trace는 사용하거나 공개하지 않는다.

연결 그룹 감사와 분할

자료의 출처 그래프를 먼저 만든다. 같은 요구·후보 소스·원형/핵심 템플릿·번역/바꿔 쓰기·반례·부모/자식/형제·fork/복제 소스를 연결하고 전이적으로 합친다. 음성 후보도 공유 소스로 연결한다. 학습 음성에 validation/calibration의 후보를 넣지 않는다. 같은 작성자·생성기의 한계도 별도 기록한다.

실제 연결 요소 감사 전에는 분할하거나 학습하지 않는다. 그룹을 약 60/20/20%의 train/validation/calibration으로 배정하는 것이 목표다. 제안 준비 하한은 실제 연결 그룹 15개 이상, train 9개 이상, validation과 calibration 각각 3개 이상이다. 이 수는 준비 단계의 운영 하한이며 통계적 보장이나 실사용 적격 조건이 아니다. 부족하거나 편중되어 분할이 성립하지 않으면 그룹을 쪼개거나 하한을 낮추지 않고 중단한다. 정확한 역할 소속·수·그룹 그래프·자료 해시는 학습 검토 전에 봉인한다.

부모 요청·쌍·변형·계약 가족·연결 그룹·언어별 실제 수를 따로 보고한다. 예를 들어 120부모의 20변형으로 2,400행을 만들더라도 2,400개의 독립 최종 요청이라고 부르지 않는다. 새 의미 검색 효용을 주장할 final 최소 2,400요청은 아직 미확보·미채점이다. 기존 CoSQA reserve와 파일 검색 protected final은 읽거나 재배정하지 않는다. 56의 validation은 개발 효용을 확인하는 자료일 뿐이며 승격·production 적용은 금지한다.

준비 순서와 중단 조건

1. 입력·정답 검사 계약과 잘못된 구현 대조군을 준비한다.
2. 그룹을 감사하고 적격 개발 자료·역할·baseline·예산을 봉인한다.
3. 학습 없이 고정 순서, BM25, 단어/연속 단어 일치, 공개된 좁은 조건·부정 문법 규칙을 같은 후보·정답·fallback 범위에서 평가한다.
4. 독립 검사를 먼저 알 수 있다고 가정한 순서 oracle로 가능한 검사 수 절감 상한을 계산한다. baseline이 이미 최적이거나 최대 상대 이득이 5% 미만이면 학습하지 않고 종료한다. oracle은 상한 계산용이며 배포 정책이나 모델 특징이 아니다.
5. 상한·분할·자료 적격성과 자원 준비가 통과한 경우에만 별도 학습 실행 계획을 봉인한다. 아래 학습 수는 그때 검토할 제안이며 현재 실행 준비 미완료·학습 0회다. 자료·계획·CI가 준비되면 기존 사용자 승인 범위에서 진행한다. 실패 시 중단하는 근거 gate는 추가 사용자 승인을 요구하는 절차가 아니다.

여기서 검사 수는 고정 후보에서 첫 허용 후보를 찾기까지의 독립 검사 횟수다. 정답 없음/unknown 처리도 미리 고정한다. 후보 삭제로 얻는 가짜 절감을 허용하지 않는다. 가능한 상대 이득은 (최선의 비학습 baseline 검사 수 - oracle 검사 수) / baseline 검사 수로 정의하고 유효 분모를 기록한다. 실제 LLM 토큰·요금·완료 시간의 절감으로 해석하지 않는다.

아주 작은 비교 모델 제안

비교	역할
고정 순서·BM25·어휘/연속 단어·좁은 문법 규칙	무학습 기준. 규칙이 최적이면 학습을 강행하지 않는다.
16계수 lexical FP32	학습 가능한 저비용 어휘 기준. 의미 이해의 증거가 아니다.
기존 8,192계수 부호 해시 교차 특징 FP32	큰 인코더 없이 요구-후보 연관을 학습하는 주장 후보
FP32의 INT8/PTQ 자식	같은 학습 결과의 양자화 손실 비교
별도 ternary STE 형제	삼진 forward로 학습하는 효과를 따로 비교

제안은 두 특징 가족 × seed 1729/2718 × FP32/STE로 최대 8회 fit다. 학습률 0.1, L2 0.0001, 최대 50 epoch, batch128, 전역 평균 절대 scale·0.7배 임계값의 기존 삼진 방식을 사용한다. FP32의 INT8/PTQ 파생까지 산출물은 최대 16개다. seed·파일·epoch 수는 고유 요청 수가 아니다. 학습 후 가장 좋은 결과를 보고 주 후보나 gate를 바꾸지 않으며, 주 후보 제안은 8,192계수 FP32/seed1729다. validation NLL로 epoch를 선택한다. calibration은 추후 고정한 보류 정책을 검토하는 별도 역할이며 확률의 정확성을 자동 보증하지 않는다.

여기서 FP32는 점수 계산용 계수를 float32로 반올림한다는 뜻이다. 기존 pairlearn의 shadow 계수·gradient·loss 누적과 reference 점수 계산은 float64다. 모든 배열/연산/프로세스가 FP32라는 뜻이 아니다. .hbin은 8,192차원 전용 형식이며 16계수 모델에 그대로 사용하지 않는다. 기존 .hbin은 로딩 후 float64 8,192개(계수만 64KiB)로 풀어 계산한다. bitmap/sign 압축 파일은 실제 runtime RAM·삼진 전용 연산·1.58-bit 실행 성능의 증거가 아니다.

기존 합성 24요청은 FP32/INT8에서만 예비 gate를 통과하고 삼진은 실패했다. 16계수 CoSQA 개발 결과도 사전 AUC gate를 통과하지 못했다. 이 실패를 보존하며 작은 파일 자체를 새로운 성공 조건으로 바꾸지 않는다.

개발 효용·자원 gate 제안

실제로 측정할 조건을 다음 학습 실행 계획에서 확정한다. 현재 아래 값은 모두 미측정 목표이며 성능 보고가 아니다.

항목	목표/처리
개발 효용	같은 validation에서 최선의 무학습 기준 대비 평균 독립 검사 수 5% 이상 감소
품질	Top1/Top3 비하락. 조건 반전·부정·경계값·언어 구간의 분모와 퇴행을 별도 보고
정책 검증	원래 첫 후보를 보존하면 Top1 불변은 구조적 보장으로 보고, 모델의 개선 성과로 세지 않음
삼진	유용한 FP32 이후 같은 효용·품질 gate와 실제 지연/RSS를 비교. 파일 크기만으로 채택하지 않음
실행	CPU 한 스레드, GPU/ORT/Laya 인코더 미사용
학습 예산	전체 wall 최대 5분, 최대 프로세스 RSS256MiB, 준비 sparse payload 최대 64MiB
추론 목표	프로세스 RSS32MiB 이하, 최대 8후보 요청의 warm p95 1ms 이하
저장 예산	새 자료·모델·숫자 기록 합계 64MiB 이하. 한도를 조용히 늘리지 않음
중단	그룹/출처/정답 실패, 정답 특징 유입, 비유한 값, 예산 초과, 규칙 최적, 효용 미달

서로 다른 seed를 독립 사용자 표본으로 세지 않는다. 작은 그룹의 점 추정과 불확실성을 같이 보고한다. 미확인 측정은 0으로 채우지 않는다. 개발 gate 통과도 새로운 final이나 일반적 의미 이해·실제 비용 절감을 대신하지 않는다.

특징 추출·점수·정렬·직렬화·cold 프로세스 시작과 warm 요청을 따로 측정한다. Go heap·할당·pprof와 OS 전체 프로세스 RSS·user CPU·wall을 구분한다. CPU-only 실험의 GPU 사용 여부도 명시한다. 모델을 한 번 로드한 불변 배열과 호출자 소유 scratch를 우선하며, cache hit와 실제 점수 계산은 따로 센다. 입력 원문·원시 pprof/ORT trace·개인 경로는 공개하지 않고 집계와 해시만 남긴다.

Go 도구 재사용과 공개

새 56 전용 loader/driver가 기존 internal/lexicalhint, internal/hintlearn, internal/pairlearn과 FitWithTrace를 재사용하는 경로를 제안한다. 현재 과거 CLI는 데이터·계획을 고정하고 있으므로 다른 데이터로 우회하지 않는다. Laya feature를 요구하는 internal/ternarytrain은 encoder-free 실험의 주 경로가 아니다. 새 입력/모델 계약과 재현 검사는 아직 구현하지 않았다.

GitHub에는 계획·코드·자체 작성 공개 fixture·숫자 집계·라이선스/출처·모델 SHA/ref를 기록한다. 가중치/모델 바이너리는 Git에 넣지 않는다. 모델 산출물은 개발 유용성 gate와 재현·형식·라이선스/공개 내용 검토 후에만 Hugging Face의 별도 불변 revision으로 게시를 검토한다. 공개에는 해당 파일의 정확한 ref와 범위·실패를 서로 연결하며, 게시나 CI 통과를 production 승격으로 표현하지 않는다. 현재 HF 게시·모델 ref는 없다.

참고 근거와 한계

• fastText 원 논문: 간단한 저비용 텍스트 분류 기준을 비교할 근거. 이 실험의 실제 품질·속도를 보증하지 않는다.
• Feature Hashing 원 논문: 작은 고정 특징 공간의 참고. 충돌과 미학습 표현 문제는 직접 검사해야 한다.
• BitNet b1.58 원 논문: 삼진 학습 비교의 참고. 우리 작은 Go scorer가 BitNet LLM이거나 최저사양/최초 구현이라는 뜻이 아니다.
• upstream Laya 고정 코드: 정확한 입력/잘림 통계, 제한된 길이별 배치, 예제 결과 캐시. 입력 계약·운영 설계의 참고이며 upstream 코드 실행·모델 도입·숫자 재현은 하지 않았다. T4/MPS 수치를 현재 cold Mac CPU와 비교하지 않는다.