정적 임베딩 학습 05: 학습 층 추가도 어휘 기준선을 넘지 못함

English · 고정 계획 · 전체 결과·모델 해시 · 검색 자료 점검

검증된 Go 정적 임베딩에 식별자 전처리와 작은 학습 층을 추가했지만, 주 후보 AUC0.5728은 기존 어휘 기준선0.5729를 넘지 못했다. 추가 메모리를 사용할 이유가 없어 기본 적용하지 않는다. reserve1 2,403개와 reserve2 2,401개는 평가하지 않았다. 이 결과를 없던 일로 하고 다른 자료의 점수로 덮어쓰지 않는다.

실제로 학습한 것

development12,189개 중 범위 안11,263개로 학습하고 validation607개 중553개로 설정을 선택했다. 학습926개/검증54개는 기존 길이 한도로 제외됐다. 모델 표현이 커졌다고 긴 사례를 몰래 추가/제외하여 비교 대상을 바꾸지 않았다. 전처리 후4,096바이트를 넘으면 잘라 쓰지 않고 오류를 낸다.

• 16계수 어휘 기준선: 직전 matching과 정확히 같은 특징·학습 설정이다. 길이 네 칸은0이다.
• 17계수: 위 특징에 전처리한 질문/코드 평균 벡터의 cosine을 하나 추가한다. camel/snake를 나누고 소문자·문자/숫자 토큰을 공백으로 합친다. 키워드를 제거하지 않는다.
• 145계수: 17계수 특징에64차원별 곱(8배 scale)과64차원별 절대 차이를 추가한다. 모델이 각 차원에서 어느 일치/차이를 중요하게 볼지 학습한다. 전체64×64 변환이나 인코더 자체 학습은 아니다.

인코더 FP32/3진, 학습 층 FP32/3진 STE, seed2개, 학습률2개를 비교했다. 어휘 기준선에는 인코더를 붙이지 않았다. 총40설정을 각각100 epoch, batch128, L2=0.0001로 실행했고 각 구성의 검증 BCE 최소 epoch/학습률을 골랐다. 선택 FP32의 INT8/PTQ 파생본까지 총40파일을 저장했다. 기존 CoSQA 고정 원천/그룹 분할과 Model2Vec 고정 revision을 유지했다.

결과

같은553개 검증 쌍의 AUC다. 반복 사용한 검증 자료의 점 추정이며 새로운 독립 시험이나 통계적 개선 확정이 아니다.

특징 / 인코더 / 학습 층	seed1729	seed2718
BM25	0.5378	동일 기준선
어휘 / 없음 / FP32	0.5729	0.5730
어휘+cosine / FP32 / FP32	0.5748	0.5745
어휘+cosine / 3진 / FP32	0.5742	0.5743
145계수 / FP32 / FP32, 주 후보	0.5728	0.5723
145계수 / 3진 / FP32	0.5682	0.5592
145계수 / FP32 / 3진 STE	0.5594	0.5567
145계수 / 3진 / 3진 STE	0.5565	0.5545

INT8·PTQ를 포함한 전부는 JSON에 있다. 주 후보는 실행 전에 normalized_alignment / fp32 / fp32 / seed1729로 고정했다. AUC≥0.60 및 BM25보다≥0.03이라는 다음 최종 시험 검토 조건을 통과하지 못했다. 조금 더 높게 나온17계수 변형으로 주 후보를 사후 변경하지 않는다.

재실행에서40파일 SHA256이 모두 같았다. 어휘 기준선8개는 이전 학습의 계수 배열과 정확히 같아, 비교 기준을 바꾸지 않았음을 확인했다. 새 파일은 메타데이터 계약이 다르므로 이전 파일과 SHA가 같다는 의미는 아니다.

실행 비용과 사용

Apple M4 Pro/24GiB/Go1.27.1 CPU에서 원천 로딩·특징 준비·40설정 학습·저장을 포함한 wall8.84초/userCPU8.58초, 최대RSS106,676,224B(101.73MiB), swap0이었다. 단일 추론이나 GPU 측정이 아니다. 실제 추론에는 학습 층 외에 인코더 표와 어휘가 필요하다. 작은 head 크기만을 전체 모델 크기처럼 제시하지 않는다.

go run ./cmd/riido-staticprobe --stage setup
go run ./cmd/riido-aligntrain --out .cache/alignment-training-new

앞서 준비한 고정 CoSQA 원천이 필요하며 출력 디렉터리는 새 것이어야 한다. 고정 계획 해시가 다르면 실행을 거부한다. 이 명령에는 final/reserve 학습·선택 기능이 없다. 새 .align.json은 연구 가중치이며 기존 riido-hints --model용 .hbin이 아니다. Codex 기본값이나 실행 권한을 바꾸지 않는다.

Go 시험은 기존 어휘 특징 동일성, holdout 내용 변경의 학습 격리, 원본/정규화 후 입력 한도, 17/145차원 간 공통 특징 일치와 실제 임베딩 곱의 cosine 관계를 확인한다. macOS/Linux CI도 실제 고정 인코더로 이 계약을 검사한다.

다음 방향: 분류와 검색을 구분해 검증

세 번의 표현 비교에서 작은 일반 영어 표현을 더 붙여도 현재 코드 관련성 분류 개선이 충분하지 않았다. 같은 검증 자료에서 계수·학습률만 계속 늘리는 것보다, 사용 목표인 '검증할 후보 순서'를 별도로 평가할 자료를 점검한다. 기존 분류 실패와 최소2,400개 평가 요구는 그대로 유지한다.

CoSQA+ 저자 자료와 논문은 복수 정답 후보와 테스트 기반 주석을 다룬다. 확인한 저장소 revision 1ca3343833a4036a4c42c852eec24b62c1f280d4에는 명시적 LICENSE가 없었고 데이터는 Drive로 연결됐다. 이용 조건을 확인하기 전에는 학습/재배포 자료로 채택하지 않았다. 논문의 자료 품질 논의는 우리 모델의 낮은 점수를 무효화하지 않는다.

CodeSearchNet Hugging Face 배포본의 Go test Parquet9,751,451B를 revision bd0cf261e357a3eb5c8fba490d23ec1a1cd59555에서 확보했다. 함수14,291개/저장소213개/고유 설명11,680개다. 아직 모델 점수를 내지 않았다. 문서 설명을 사용자 질문으로 동일시하거나 나머지 함수를 전부 오답으로 취급하지 않는다. 검색 시에는 설명이 가리키는 알려진 함수의 순위를 측정하고, 실제 에이전트 과제는 별도로 검증해야 한다.

원 저자와 HF 카드는 코드마다 원 저장소 라이선스를 따라야 한다고 설명한다. 우선 kubernetes/test-infra, lxc/lxd, etcd-io/etcd의 데이터가 가리키는 실제 commit에서 Apache-2.0 루트 라이선스를 확인했다. 이것만으로 vendored 파일이나 모든213개 저장소의 권리를 확인했다고 주장하지 않는다. 생성 코드·중복·vendor/별도 고지·저장소 그룹 분리와 query 설명 노출 여부를 점검한 뒤 별도 검색 계획을 고정한다. 원천 전체를 MIT로 표시하지 않는다.

원문·라벨·가중치는 Git에 넣지 않았다. 학습·실행은 Go, Parquet 메타데이터 점검만 로컬 유지보수용 Python을 사용했다. HF에는 원문이나 검증 전 새 모델을 올리지 않았다. 목적은 코드 관련성의 실패를 감추는 쉬운 시험을 만드는 것이 아니라, 분류·검색·실제 작업 각각의 증거를 확보하는 것이다.

검증한 연구 결과 공개

HF 고정 연구 묶음에는 40개 학습 층과 문서를 포함한 47개 파일이 있다. 공개 저장소에서 다시 내려받아 전체 파일 목록과 바이트·SHA256을 확인했고 riido-hubcheck --require-ci도 통과했다. 소스 1b9091c72e72d21c330b9d3e58cfe47957f73be0의 CI가 통과한 뒤 업로드했으며 PR28은 병합됐다. 이는 배포 무결성 검증이며 품질 합격이 아니다. JSON 학습 층은 압축된 1.58-bit 실행 모델이 아니고, 어휘 대조군 외에는 별도 인코더가 필요하다. 기본 적용과 LLM 절감 주장은 없다.