State Hints V3 KO - teamswyg/laya-tools GitHub Wiki

상태 힌트 V3: 실제 이어 학습과 연구 후보 게시

짧은 업무 메시지에서 진행·완료 보고·질문을 읽어 표시를 제안하는 작은 Go 모델을 실제로 이어 학습했습니다. 모델과 공개 자료의 게시·읽기 검증도 마쳤습니다. 다만 완료 오표시가 늘었으므로 연구 후보로만 공개하며, 기본 모델이나 정책을 자동으로 바꾸지 않습니다.

이 페이지는 V3 학습과 게시의 기록입니다. 현재 개발 중인 실제 뤼이도 reader 연결과는 별도입니다. 아래 결과는 합성 fixture reader에서 얻었으며 실제 앱 조회·업무 변경·운영 완료 판단을 검증한 결과가 아닙니다.

무엇을 학습했나요?

모델은 1,024개 특징과 8개 의미를 사용하는 FP32 선형 softmax 분류기입니다. Go용 RSH 파일은 32,960바이트입니다. 문장을 생성하는 모델이 아니며, Laya 가중치·LoRA·증류·1.58-bit 모델이라는 주장을 하지 않습니다.

8개 의미는 question, blocker, reference, progress, completion_report, cancel_request, planned, unclear입니다. 표시 실험의 대상은 진행·완료 보고·질문 세 종류입니다. 완료 보고는 작성자가 끝냈다고 주장하는 문장이지, 실제 업무 완료를 확인한 사실이 아닙니다.

부모는 Go v0.2이며, 고정 SHA-256은 ae6761dc81501b39ae17f29b48f0f0a8b35305fe11e297b9a787af0f9636df05입니다. 이 가중치에서 새 합성 400문장으로 CE+AdamW를 실행했습니다. optimizer 상태는 새로 시작했습니다.

선택 모델 조건	값
선택 후보	warm_lr005
epoch / batch / seed	40 / 32 / 1729
학습률 / decay	0.005 / 0.001
새 optimizer 갱신	520회
누적 training step	1,920 → 2,440
보정 온도	1.0
confidence / margin	0.9 / 0.05 유지

4개 후보 중 validation 80개의 진행·완료 보고·질문과 none NLL로 선택했습니다. none은 나머지 5개 의미의 확률 합입니다. 별도 calibration 80개로 온도를 정하고 모델·조건을 저장한 뒤 test 200개를 처음 읽었습니다. test 결과에 맞추어 후보 선택 기준이나 표시 기준을 바꾸지 않았습니다.

무엇이 좋아졌고, 무엇이 나빠졌나요?

같은 새 합성 test 200개에서 부모와 선택 후보를 비교했습니다.

작성자의 주석과 비교한 결과	부모 v0.2	연구 후보 v0.3
전체 8개 의미 정답	152/200	158/200
진행 정답	45/50	44/50
완료 보고 정답	40/50	46/50
질문 정답	24/50	36/50
제안 중 정답	57/57	90/94
잘못된 완료 보고 제안	0	4

전체 정답과 질문 정답, 올바른 제안의 수는 늘었습니다. 하지만 진행 정답은 하나 줄었고, 완료 보고를 잘못 표시할 제안이 4개 생겼습니다. 더 많이 제안하는 것과 잘못된 표시를 줄이는 것은 다른 목표입니다. 이 교환관계를 숨기지 않고 기본 활성화를 보류합니다.

전체 8개 의미의 confusion, 개별 확률, 보류, 실패와 진단은 원본 첫 결과에 보존했습니다. 실제 조회·mutation·상태 변경은 0이며, synthetic catalog placement도 검증되지 않았습니다.

게시와 소스 확인

HF 모델과 19개 파일: revision cf6deca9eb2c9919b1bbbbe82ce3576453d67a40, 총 1,156,546바이트. 모든 파일을 완전히 다시 읽어 바이트와 SHA-256을 대조했습니다.
statehint-v0.3-research 태그도 같은 revision·파일 내용으로 확인했습니다.
선택 모델 SHA-256: 6fafd22cb5af6f3c9a5ab51ae0022e67e82d7d753702a770aab5559e1804869d.
PR 159의 source CI가 성공한 뒤 봇이 ddd090fe49230a1ec52d9919c3105ca327eddd66으로 병합했습니다.

검사한 소스 1e05eff7c05b2e6007bfd70fa1559d6631974b0d와 병합본의 tree는 모두 778d0135e48a210c40766710fec616f2fe08ba54입니다. 공개 패키지에 남은 PR OPEN 같은 상태는 최종화 당시의 기록이며, 현재 병합은 위 영수증과 링크로 구분합니다. source CI 성공은 코드 검사 완료를 뜻하며 운영 모델의 안전성이나 실제 업무 완료를 입증하지 않습니다.

사람과 에이전트의 명시적인 사용

Go 1.27.1과 위 병합 소스를 기준으로, 모델 경로를 명시한 로컬 실험에 사용할 수 있습니다. 다운로드한 파일의 크기와 위 SHA-256을 먼저 확인하세요.

hf download JooYoon/riidolaya-statehint-go-v0.3 statehint.rsh \
  --revision cf6deca9eb2c9919b1bbbbe82ce3576453d67a40 \
  --local-dir ./models/statehint-v0.3
go run ./cmd/riido-statehint --model ./models/statehint-v0.3/statehint.rsh \
  --text '이 보고가 어느 작업 범위를 가리키는지 알려 주세요.'

이는 명시적으로 선택한 분류 실험입니다. 실제 뤼이도 업무의 라벨·이모지를 변경하거나 완료 상태를 확정하는 사용과 구분해야 합니다. 에이전트도 모델 버전과 원본 메시지의 연결을 유지하고, 모호함을 완료로 바꾸지 않아야 합니다. 이 Wiki 작업에서는 명령을 실행하거나 새 추론을 하지 않았습니다.

학습 재현 안내와 네 자료 파일은 모델 카드에 있습니다. 원본 계획은 당시의 상대 cache 경로를 보존하고, 별도 공개 재현 계획은 네 자료 경로만 공개 파일명으로 바꿉니다. 원본 driver와 공개 cmd/riido-statehint-tune/main.go는 같은 본문이며, SHA-256은 1d9de51793bc3440978efd16a72d1d3eed6ff4c9785bf797a06bb21b67153d15입니다. 24개 원래 소스 입력은 계획의 SHA와 공개 저장소 참조로 유지합니다.

자료·라이선스·해석의 한계

학습 400 / 검증 80 / 보정 80 / test 200은 두 AI 작성자가 만든 원본 합성 760개입니다. 실제 사용자 업무와 제품 ground truth, 독립 인간 주석, 통계적으로 독립적인 운영 표본이 아닙니다. test는 이제 노출된 개발 자료라 다음 후보의 새 blind test로 재사용하지 않습니다.

원본 합성 본문·주석과 공개 Go 코드의 선언 라이선스는 Apache-2.0입니다. 패키지에 LICENSE와 원본 NOTICE를 포함했습니다. 비공개 앱 소스·실제 업무 본문·인증 정보·호스트 경로·raw profile은 공개하지 않았습니다.

원래 단일 macOS Go 프로세스의 OS peak RSS는 15,974,400바이트였습니다. 범위는 4개 fit·검증·보정·test·모델 reload 전체이며 모델 단독 메모리, Go heap, GPU 사용량으로 해석하지 않습니다. 저장 모델을 다시 읽어 200개 전체 확률의 일치를 확인했지만, 이는 실제 뤼이도 연결이나 일반화 성능의 검증과 별개입니다.