설명과 변수 이름을 바꾸어도 같은 규칙을 조립할까?

2026-10-11 KST. 실행 전에 계획을 공개한 뒤 27회 관측을 한 번씩 완료했습니다.

대기 작업 수를 0~24 사이로 제한하는 규칙 하나를 사용합니다. 같은 요구를 영어, 한국어, 다른 영어 표현으로 적고, 식을 직접 쓰거나 긴 변수명·짧은 변수명으로 바꿉니다. 소스의 기대 출력과 중간 조건은 고정합니다. 자체 모델이 표현의 변화에 얼마나 민감한지 확인하려는 실험입니다.

고정할 것	바꿀 것	읽을 결과
요구, 의미 ID, 후보 네 개, 검사 사례, 시도 예산	설명 3종 × 본문 표현 3종	첫 선택, 검사한 후보 수, 최종 검사 결과
각 소스와 실행 입력	고정 순서·ordered 모델·interaction 모델	모델 호출, 입력 식별값, 전체 시간과 메모리

9개 표현에 각 방식으로 한 번씩, 총 27회 실행했습니다. 한 업무를 여러 방식으로 본 것이므로 독립된 업무 27개의 정확도로 계산하지 않습니다. 후속 실행 입력에는 선택에 쓰인 입력과 겹치는 값이 있고, 모델 학습에 노출됐는지는 확인되지 않았습니다.

SDK 0.2.39에 이미 공개한 두 모델을 그대로 사용합니다. 학습과 보정은 하지 않습니다. 실험용 컴파일러는 두 모델을 연결한 개발 소스 2e0e34f8이며 공개 PR 준비 중입니다. 공개 0.6.27 실행 파일에는 이 연결이 아직 포함되지 않습니다.

고정한 전체 계획 · 27회 순서와 파일 식별값 · Go 실행기 · 저장 결과 요약 쿼리.

실제 결과

아래 숫자는 모든 소스 조건을 만족할 때까지 확인한 후보 수입니다. 긴 변수명·짧은 변수명· 직접 쓴 식은 각 설명 안에서 같은 모델 입력 식별값과 점수를 보였습니다.

설명	고정 순서	ordered 모델	interaction 모델
영어 기본 표현	3	4	2
한국어	3	1	2
영어를 다른 문장으로 표현	3	2	2

첫 후보가 출력과 중간 조건을 모두 만족한 것은 ordered 모델 3/9개 표현, 고정 순서와 interaction 모델은 각각 0/9개 표현이었습니다. 최종적으로는 세 방식 모두 각 실행에서 소스 출력 5개·중간 조건 2개와 같은 후속 실행 사례 10개를 만족했습니다. 첫 추천의 실패와 남은 후보를 확인해서 얻은 완성 결과를 따로 기록합니다.

눈여겨볼 사례도 있습니다. 영어 기본 표현에서 ordered 모델의 첫 후보는 출력 5/5를 맞혔지만, 작성한 중간 비교 조건은 1/2만 만족했습니다. 같은 출력이 나오는 후보라도 소스에 명시한 비교 방향을 만족했는지는 별도로 확인해야 했습니다.

두 모델 모두 설명을 바꾸면 점수가 달라졌습니다. interaction 모델은 첫 선택을 그대로 유지했고, ordered 모델은 첫 선택도 달라졌습니다. 이 한 규칙에서 한국어가 잘 된 사실을 전체 한국어·영어 성능으로 일반화하지 않습니다.

시간과 메모리

각 방식 9회의 중앙값입니다. 전체 명령은 Go 컴파일과 실행을 포함합니다.

항목	고정 순서	ordered	interaction
모델 판단	호출 없음	36.917µs	96.459µs
전체 명령 시간	0.758초	0.757초	0.779초
사용자·시스템 CPU 시간 합계	0.46초	0.47초	0.46초
최대 RSS의 중앙값	83.22MiB	83.16MiB	83.59MiB

동시에 로컬 회귀 검사가 진행됐고 캐시도 통제하지 않았습니다. 이 시간 차이로 속도 향상을 주장하지 않습니다. CPU 시간은 해당 명령에 귀속된 계산 시간이며, Mac 전체의 순간 CPU 사용률은 측정하지 않았습니다. 메모리도 작은 모델의 가중치 배열과 전체 명령을 구분합니다.

다음 개선에 반영할 것

변수 이름을 풀어 같은 식으로 읽는 현재 연결은 이 범위에서 안정적이었습니다. 설명 문장에 따른 선택 변화는 다음 학습·입력 표현에서 살펴볼 문제입니다. 같은 의미의 표현을 짝지어 점검하되, 이번 문장만 학습해 성적을 올리는 방식은 피하고 다른 규칙군에서 다시 확인하겠습니다. 출력·중간 조건·후속 실행의 완전성은 각각의 분모를 유지합니다.

27개 원본 출력과 검산 안내 · 전체 관측 행 · 집계와 범위.