지표와 증거

업데이트: 2026-10-10. 각 실험의 날짜·생산자·입력 범위는 본문에 따로 적습니다.

숫자는 어떤 작업을 어디까지 확인했는지 설명합니다. Gooo에서는 조립된 구조, 제공 예시의 동작, 탐색 비용, 출처 연결과 미해결 조건을 각각 기록합니다. 완전성은 작업 지시서의 항목별 체크 기록으로 읽을 수 있습니다.

확률·충족률·완전성 기록

기록	예	뜻
모델의 경로 확률	특정 경로에 0.8	모델이 선언된 선택지에 부여한 분포
유한 기능 충족률	16개 예시 중 12개 통과: 75%	그 입력·기대값 집합에서 맞은 비율
첫 경로 완성 수	512개 표현 중 368개	첫 후보가 각 표현에 제공된 모든 예시를 만족한 수
추가 탐색 비용	완성까지 추가 후보 186개	같은 후보·예산에서 더 시도한 양
미해결 관측	permission_boundary: UNKNOWN	해당 실행 권한 경계를 확인할 근거가 남아 있음

모델 확률의 해석은 선택 분포입니다. 기능 충족 여부는 실제 예시와 평가 결과로 계산합니다. UNKNOWN은 필요한 관측과 다음 작업을 보존합니다.

최근 조립에서 숫자를 읽는 순서

먼저 생성물과 입력 묶음을 확인하고, 그다음 맞춘 수를 읽습니다.

확인할 것	읽는 기준
모델 입력 가능 여부	사전 확인의 READY_FOR_RANKING은 표현이 가능한 상태입니다. 이때 예측·후보 검사는 0회입니다.
기능을 확인한 사례	passed/total은 그 입력·기대값에서 맞춘 수입니다. 0/0에는 측정된 비율이 없습니다.
선택에 쓴 사례와 나중의 평가	조립용 사례, 호출 반례, 마지막 다른 입력을 나눠 봅니다. 같은 입력 반복은 새 과제로 더하지 않습니다.
탐색 범위	실제 시도 수와 예산을 함께 봅니다. 예산을 다 썼다는 사실은 전체 후보를 다 확인했다는 뜻이 아닙니다.
저장 재생	같은 생성물을 다시 실행한 관측입니다. 새 모델 선택·새 학습 품질로 세지 않습니다.

10월 10일의 깨끗한 개발 생산자 2ee8e0e1에서는 레코드 예측1회·분기0회, 프로그램11시도/예산16, 마지막 다른 입력3/3·저장 재생3/3을 확인했습니다. 학습 노출은 UNKNOWN이며, 모델을 쓸 때 시도가 줄었다는 대조 실험은 없습니다. 후속 생산자 3def7c5d의 사전 확인 한 번은 모델 로드0.638167ms·전체1.294917ms였습니다. 예측 시간과 명령 전체 시간, 모델 텐서와 프로세스 메모리는 각각 구분합니다. 이번 입력 확인과 원본.

이어 원본 CI·증거를 통과해 설치한 dev 426caecb의 새 실행에서는 처음 함수별 사례2/2·처음 전체 호출0/1을 각각 기록했습니다. 11시도/예산16 뒤 다른 입력3/3·저장 재생3/3·새 재생 예측0회였습니다. 기존 모델의 예측1회는31,041ns, 생성 명령 전체는6.13s·최대RSS87,457,792바이트였습니다. 학습 노출은 UNKNOWN이며, 컴퓨터 전체 CPU 사용률은 측정하지 않았습니다. 입력·기대값·실제 출력의 큰 정수는 Go에서 원문 숫자로 대조했습니다. 새 설치본의 원본과 대조 도구.

완전성은 확인할 항목을 먼저 적은 뒤 충족·미충족·미관측을 남깁니다. 소스 연결, 타입, 선언한 기능 사례, 다른 입력의 동작을 서로 다른 항목으로 볼 수 있습니다. 한 항목의 높은 비율로 나머지 미관측 항목을 채우지 않습니다. 모든 입력에 대한 증명이나 다른 언어와의 공통 성능 비교는 별도 확인 범위입니다.

파일 실행에서 현재 충족 수 읽기

gooo body-path-run의 summary.json에서 요청별 passed/total, 실제 실행 수와 실행파일 재사용 여부를 읽습니다. main fc854ef4의 한영·모델·결정론 네 조건을 두 번씩 실행해 8회 생성·모델 판단 4회·실제 실행 16회와 1,024/1,024 기대값을 확인했습니다. 같은 정수 연산 가족의 128개 입력을 반복한 범위입니다. 조건·변수 예제의 6/6, 변경한 기대값의 127/128과 모호한 원본의 0/4는 별도 관측입니다. 파일 실행 사용법과 모든 원본.

두 기록을 비교할 때에는 충족 수와 측정 조건을 함께 봅니다. 생성→실행은 정확한 부모에 이어진 새 관측이고, 기대값을 바꾸면 실행 묶음의 정체성도 바뀝니다. 비교 자체에서는 새 모델 판단이나 프로그램 실행을 수행하지 않습니다. 기록을 비교하고 읽는 순서.

10월 3일 전체 후보 판단기: 직접 생성과 실행

자체 FP32 16 KiB 모델을 컴파일러에 직접 연결한 실험입니다. 이미 관측한 개발 과제 64개를 한영·두 연산 계열·소스 순서·기대 순서에 걸쳐 비교했습니다. 네 계산 계열의 새 표현과 상수 조건을 사용했고, 세 선택 입력과 여덟 평가 입력을 따로 기록했습니다.

경로·시도 예산	완성 요청	유한 기대값 충족	실제 후보 평가
결정론·1회	32/64	264/512	64
모델·1회	52/64	418/512	64
결정론·8회	64/64	512/512	96
모델과 동일 구조 재사용·8회	64/64	512/512	76

총 256회 생성, 실제 모델 판단 128회, 즉시 컴파일한 실행 512회를 관측했고 학습 업데이트는 0회였습니다. 모든 경로를 합친 충족 수는 1,706/2,048이며, 반복 실행을 독립 예시로 더하지 않습니다. 각 결과의 전체 예측과 선택·평가·출력은 기존 연구와 같았습니다.

8회 예산의 생성 명령 중앙값은 결정론 8.579ms, 모델 9.256ms였습니다. 모델 판단 자체는 2.75µs였고, 최대 RSS 중앙값은 17.56→18.60MiB였습니다. OS가 기록한 생성 명령의 CPU 시간 중앙값은 7.579→8.628ms, 한 코어 사용률 중앙값은 88.14→92.50%입니다. 새 프로세스 조건으로 측정했으며, 컴퓨터 전체 사용률과 구분해서 읽습니다.

전체 원본·지표 계산·재현법.

앞선 공유 판단기 품질 비교

네 조건은 같은 2,072개 파라미터 구조를 새로 초기화해 학습했습니다. 표는 원래 개발 입력 512개에서 FP32를 비교합니다. 각 입력에는 16개 선택용 유한 예시가 있고, 한국어·영어 표현은 256쌍입니다. 개발 과제는 앞선 연구에서도 관측했습니다.

입력 표현 · 학습 문장	첫 경로 전체 충족 /512	추가 후보 합계	한·영 양쪽 모두 유효 /256
위치 기반 · 원래 문장	113	1,469	1
위치 기반 · 다양한 문장	266	528	75
전체 조각 빈도 · 원래 문장	368	186	180
전체 조각 빈도 · 다양한 문장	320	326	132

세 번째 조건도 한·영 68쌍에서 같은 오답을 골랐습니다. 동일 경로 선택과 양쪽 모두 유효한 선택을 따로 셉니다. 이 조건의 삼진 PTQ는 94/512, QAT는 287/512였습니다. 다양한 문장을 학습한 조건은 새 접미 표현에서 173/512로 내려갔습니다. 문장 조각 빈도가 다른 연산 순서를 같은 입력 특징으로 만드는 반례도 남아 있습니다.

전체 품질표·학습 기록·실패한 조건.

실제 생성과 실행

항목	관측
실험 구성	16개 알려진 요청 × 24개 모델 조건, 모델 없는 16개 요청
코드 생성	400회
실제 모델 판단	816회: 초기 384회 + 피드백 432회
빌드된 프로그램 실행	800회: 각 생성 결과를 두 번 실행
제공된 기대값	9,600/9,600 일치
두 실행의 출력 관측	19,200개
원래·압축 저장 표현 비교	192/192쌍 일치
독립 기록 대조	진행 기록 1,760개, 피드백 기록 432개 확인
첫 미해결 항목	모든 400건에서 permission_boundary

9,600은 400회 생성에 각 24개 예시를 적용한 수입니다. 반복 실행 19,200개를 새로운 과제 수로 더하지 않습니다. 24개 중 16개는 선택용, 8개는 선택 뒤 별도 실행용 예시입니다.

관측 소스는 컴파일러 e461c1d, SDK v0.2.15입니다. 전체 결과와 원본 기록.

시간과 메모리

아래는 같은 로컬 arm64, Go 1.27.1 통합 실험에서 전체 조각 빈도·원래 문장·compact FP32 조건과 모델 없는 조건을 읽은 값입니다. 새 컴파일러 프로세스를 사용했고 통상적인 Go 캐시가 준비된 환경이었습니다.

항목	compact FP32	모델 없음
모델 예측 중앙값	8.33µs	호출 0
전체 코드 생성 중앙값	10.00ms	9.80ms
코드 생성 프로세스 CPU 중앙값, 한 코어 기준	78.84%	78.61%
코드 생성 프로세스 peak RSS 중앙값	17.78MiB	17.71MiB
16개 요청의 추가 후보 합계	0	96

이 작은 과제에서 모델은 후보 시도를 줄였고 전체 코드 생성 지연은 비슷했습니다. CPU는 프로세스 사용량이며, 컴퓨터 전체 사용률의 증가량은 측정하지 않았습니다. 측정 구간·각 변형·느린 표본.

모델 저장 파일과 RAM도 따로 셉니다. compact FP32 가중치는 8,288바이트, 삼진 가중치 파일은 446바이트입니다. 삼진 모델은 실행 시 2,096바이트 텐서와 8바이트 스케일로 풀리고, 요청의 작업 배열은 3,200바이트입니다. 전체 프로세스에는 컴파일러와 Go 실행 환경의 메모리가 추가됩니다. 모델 구조와 파일.

관측 후 직접 조립한 후속 실험

2026-10-03의 별도 실험에서는 같은 모델을 고정하고 다섯 관측 방식으로 120회 생성·240회 실행했습니다. 실제 모델 판단 120회는 대조군에서 수행됐고, 유일 후보를 바로 조립한 24개 요청은 모델 호출·추가 탐색 0회였습니다. 직접 조립 조건은 144/144 기대값, 기준 함수가 있는 전체 조건은 432/432, 모든 대조군까지 포함한 결과는 540/720입니다. 과제는 하나이며 한영 지시와 반복이 포함됩니다.

모델 요청 조건의 재사용 후 탐색 대비 직접 조립 중앙값은 전체 생성 9.491→8.267ms, 최대 RSS 18.77→17.29MiB, 한 코어 기준 프로세스 CPU 92.45→88.01%였습니다. 12개 프로세스씩의 관측이며 이미 모델을 보유한 작업자는 따로 측정할 범위입니다. 첫 대조군의 느린 표본도 보존했습니다. 전체 표·측정 조건·원본.

계산 재현성에서 배운 것

처음 arm64와 Linux를 비교했을 때 18,432개 입력의 첫 선택은 같았지만 272개 전체 후보 순위가 달랐습니다. 이후 곱셈·덧셈의 반올림 시점을 명시했고, 같은 입력 쌍의 중간값·확률·전체 순위를 일치시켰습니다. 가중치는 유지했습니다.

원래 차이와 새 계산 규칙의 전체 대조. SDK는 별도로 플랫폼마다 36,864회 판단을 수행해 이 결과를 재현했습니다.

이전·이후 발전을 읽는 법

completeness-delta는 두 관측의 입력·원본·범위를 대조하고, 충족·회귀·미관측·삭제된 의무를 함께 남깁니다. 의무를 줄여 얻은 높은 비율과 같은 의무를 더 충족한 변화가 구별되어야 다음 작업을 고를 수 있습니다. 비교 계약과 예제.

다른 언어 시스템과의 비교는 공통 과제, 도구와 시간 예산, 완료 기준을 갖춘 뒤 수행할 계획입니다. 현재 공개 결과는 Gooo 내부의 조건 비교입니다.

현재 상태 · 과거 지표 기록 · 문서 홈