모델 결과를 같은 조건으로 다시 확인하기

2026-10-03. 과거 모델 결과를 다시 실행하며, 원래 결과와 새 결과가 어떤 조건에서 같거나 달랐는지 읽는 안내입니다.

이번에 정리한 문제

작은 모델이 허용된 코드 후보 여덟 개에 순위를 매길 때, macOS와 Linux의 미세한 실수 계산 차이가 후순위 후보를 바꿨습니다. 첫 선택은 같았고, 전체 순위 272개와 집계 항목 101개가 달랐습니다. 부품을 재는 자의 눈금이 조금 다른 상황과 비슷합니다.

앞선 작업에서 곱셈·덧셈의 반올림 시점을 실행 규칙에 명시했고, 새 규칙으로 18,432개 입력 쌍의 중간 계산값·전체 순위를 두 환경에서 재현했습니다. Go 언어 명세도 연산 결합과 명시적 실수 변환의 반올림을 설명합니다. 현재 컴파일러는 이 규칙을 지원하는 SDK v0.2.20-experimental을 사용합니다.

이번에는 과거 계산 방식의 기록을 다시 확인하는 경로를 정리했습니다. Go 검증기가 실제로 실행되는 환경을 읽고, 그 환경의 고정 원본과 새 기록을 대조합니다. 원래 두 환경의 차이도 양쪽 값과 함께 남습니다.

결과에서 먼저 읽을 두 항목

기록	의미	이번 Linux 관측
status	같은 환경의 고정 원본을 재현했는지	PASS: 18,432개 기록과 24개 모델 파일 일치
original_comparison.status	새 기록과 최초 macOS 원본의 비교	MISMATCH: 원래 101개 요약 차이와 272개 순위 차이 보존

검증은 차이의 개수와 함께 모든 항목 경로·양쪽 값·입력 해시·후보 순위를 확인합니다. 새 차이가 생기거나 기록·가중치가 바뀌면 실패합니다. Go 1.27.1의 darwin/arm64와 linux/amd64에 고정 원본이 있으며, 다른 환경에는 별도 원본 관측이 필요합니다.

새 산술 규칙의 플랫폼 간 검사는 계속 따로 실행합니다. 두 재현 경로를 포함한 Linux 검사 37126899513의 19개 작업이 모두 통과했고, 연구 PR #1을 병합했습니다. 예전 실패한 실행과 원래 기대값은 공개 기록에 남아 있습니다.

직접 재현하고 읽기

원본·실행법과 검사 순서에서 고정된 학습·입력 자료를 풀고 새 Go 감사를 실행할 수 있습니다. 새 감사 뒤의 검증 명령은 다음과 같습니다. 연구 저장소의 변경 없는 체크아웃에서 실행합니다.

go run ./tools/package-full-input-study --mode verify \
  --compare-platform-audit runs/own-three-full-input-ci-replay \
  --replay-revision "$(git rev-parse HEAD)" \
  --comparison-output /tmp/legacy-platform-replay-new.json

감사 폴더와 출력 파일은 새 이름을 사용합니다. 새 Go 감사의 추론은 환경마다 25,824회이며, 원본 학습 기록도 함께 검산합니다. 기록을 읽는 검증기의 모델 호출은 0회입니다. 새 학습은 0회이고, 기존 512개 개발 뷰를 여러 모델·표현으로 다시 확인한 범위입니다. 18,432개는 이 재현의 분모입니다.

생성된 코드의 기능 충족률은 실행 기록에서 별도로 읽습니다. 이번 재현 작업의 속도·CPU·메모리는 측정하지 않았습니다. 반복 코드 생성 비용은 검사·실행 비용 관측에 별도 조건과 함께 있습니다.

같이 읽기: 모델과 메타프로그래밍, 지표와 증거, Hugging Face 공유 판단기.