세 프로그램으로 모델 입력 넓혀 보기

파일명 예제 하나에서 잘 고르는 모델이 다른 일도 잘 고를지는 별도로 봐야 합니다. 이번에는 Gooo로 작성한 파일명 처리, 정수 나눗셈, 재시도 판단을 함께 준비했습니다. 공개 코드와 원본.

각 프로그램에는 결과를 채우는 선택지가 세 개 있습니다. 선택지의 앞뒤를 여덟 방식으로 바꾸고, 원하는 동작을 한글·영어·둘을 섞은 문장으로 적었습니다.

프로그램	후보 배치	의도 표현	자료 행 수	한 행에서 확인한 입력
파일명 처리	8	3	24	5
정수 나눗셈·나머지	8	3	24	4
재시도 판단	8	3	24	5

72행은 세 프로그램의 변형입니다. 같은 문제를 보기 순서와 설명 문장을 바꿔 제출한 자료에 가깝습니다. 각 행에서 세 필드가 모두 맞는 선택을 실제 Gooo 실행으로 확인했고, 소스·모델 입력·선택 결과를 따로 저장했습니다. 원래 배치에서는 후보 여덟 개를 모두 확인해 완전히 맞는 조합이 하나임을 확인했습니다. 모델 호출은 없었습니다.

현재 입력 방식은 이 72행을 서로 다른 배열로 보존합니다. Gooo의 검사 프로그램은 evaluate-chooser, 즉 이제 실제 선택기를 측정하라는 다음 작업을 반환했습니다. 두 번 수집했을 때 입력 자료와 출처 목록은 바이트 단위로 같았습니다.

PR·브랜치 CI를 통과해 작업장 main 73d6f359에 병합했습니다. Linux에서도 입력과 배열 그룹, Gooo 판단이 같았고, 검사 프로그램의 재실행을 확인했습니다. CI 원본과 병합 기록.

학습할 때 나눌 기준

이 72행 자료에서는 두 프로그램 48행과 나머지 프로그램 24행으로 나누는 방식이 가능합니다. 후속 요구 변경 자료는 프로그램마다 여덟 동작 정책을 추가해 분할이 384행과 192행으로 늘었습니다. 한 프로그램의 모든 배치와 언어 표현은 함께 이동합니다. 평가를 보고 모델을 고쳤다면, 그 결과는 개발 중 관측으로 남기고 새로운 프로그램에서 다시 확인해야 합니다.

이번 72행의 한글·영어 문장들은 같은 동작을 요청합니다. 후속 실험에서는 같은 코드와 선택지를 두고 “두 조건을 모두 만족”과 “둘 중 하나를 만족”처럼 원하는 동작을 바꿨습니다. 그 자료의 입력 구분과 별도 실행은 관측했으며, 모델이 문장에 맞춰 선택하는지는 다음 학습에서 봅니다.

아직 새 가중치를 학습하거나 공개하지 않았습니다. 이후에는 필드 충족률, 주어진 횟수 안에 완료한 사례, 처음 보는 입력에서의 실행 결과, 판단 비용을 함께 기록할 예정입니다. 수집 도구와 연결은 Go, 검사 후 다음 행동을 정하는 함수는 Gooo로 구성했습니다.

수집 명령과 범위 · PR #24.