Coverage Claim 25 KO - teamswyg/laya-tools GitHub Wiki
๋จ์ด ์ผ์น ํน์ง ์กฐํฉ ํ์ต 25
20๊ฐ ํน์ง ์กฐํฉ์ ๋ ์ด๊ธฐ๊ฐ ๋ชจ๋ ํ์ด์ง ๋น์ฉ์ ์ ํ์์ผฐ๋ค. ์ด ํน์ง ์ถ๊ฐ ๊ฒฝ๋ก๋ ๊ธฐ๋ณธ ๋ชจ๋ธ์ ์ฑํํ์ง ์๋๋ค. ์ฃผ ๋น๊ต์์ ๊ธฐ์กด 16๊ฐ ํน์ง ๋๋น ํ์ด์ง 6,326โ6,439, ํธ์ถ 2,408โ2,363์ด๋ค. ํธ์ถ 45ํ๋ฅผ ์๋ผ๋ ๋์ 113ํ์ด์ง๋ฅผ ๋ ์ฝ์ผ๋ฉฐ, ์ฌ์ ํฉ๊ฒฉ ๊ธฐ์ค๋ ๋ฏธ๋ฌ์ด๋ค.
๋น๊ต ์กฐ๊ฑด
์คํ 24์์ ๋จ์ผ ํน์ง์ ์ ํธ๊ฐ ์ฝํ๋๋ผ๋ ์กฐํฉ ํจ๊ณผ๊น์ง ์๋ค๊ณ ๋จ์ ํ์ง ์๊ธฐ ์ํด, ๊ณํ์ ํ์ต ์ ์ ๊ณ ์ ํ๊ณ ๋ค ํน์ง์ ๋ชจ๋ ์ถ๊ฐํ๋ค. ํ๊ฐ์์ ์ข์ ํน์ง๋ง ๊ณ ๋ฅด์ง ์์๋ค.
๊ธฐ์กด 12๊ฐ ํน์ง + ์ ์ ๋ถํฌ 4๊ฐ ๋ค์ ์ฒซ ํ๋ณด ์ง์ ๋จ์ด ์ผ์น์จยท์์ 20๊ฐ ํ๊ท ยทํ์คํธ์ฐจยท์ดํ ๋ถ์ฌ ๋น์จ์ ๋ถ์๋ค. ์ด 20๊ฐ์ด๋ฉฐ ๋ชจ๋ ํน์ง์ ๊ธฐ๋ณธ ๊ฒ์๊ณผ ๊ธฐ์กด ์ธ๋ฑ์ค์์ ๋ณด์กฐ ๊ฒ์ ์ ์ ๊ณ์ฐํ๋ค. ๋ ํฌ ์ด๋ฆยท์ ๋ตยท๋ณด์กฐ ๊ฒ์ ๊ฒฐ๊ณผ๋ ์ ๋ ฅ์ ์๋ค.
๋ชฉํ๋ ๊ธฐ๋ณธ ํ์ด์งโ๋ณด์กฐ ํ์ด์งโํธ์ถ ํ๋ํฐ์ ๋ถํธ, ๊ฐ์ค์น๋ ๊ทธ ์ ๋๊ฐ์ด๋ค. ํ๋ํฐ {0,0.25,1,4,16}, seed {1729,2718}, ํ์ต๋ฅ 0.1/L2 0.0001/100epoch/batch64, ๊ฒ์ฆ ์ต์ ์์ค epoch, ๊ฒ์ฆ์์๋ง 90% ํธ์ถ ์์ฐ ์๊ณ๊ฐยทํ๋ํฐ ์ ํ์ ์ด์ ๊ณผ ๊ฐ๊ฒ ์ ์งํ๋ค. 3๊ฐ ์ ์ฅ์ ๋ถํ ร2์ด๊ธฐ๊ฐ ร5ํ๋ํฐ = 30๊ฐ ์์น ํค๋์ด๋ฉฐ ํ๊ฐ ์ง๋ฌธ์ ๊ณ ์ 2,948๊ฐ๋ค.
์ฐจ์์ด ๋ฌ๋ผ์ง๋ฉด ์ด๊ธฐํ์ ์ต์ ํ ๊ฒฝ๋ก๋ ๋ฌ๋ผ์ง ์ ์๋ค. ๊ฐ์ seed๋ฅผ ์ฌ์ฉํ๋ค๊ณ ์ต์ ํ ๊ฒฝ๋ก๊น์ง ์์ ํ ์ง์ง์ด์ง ๋น๊ต๋ผ๊ณ ์ฃผ์ฅํ์ง ์๋๋ค. ๋ seed๋ ๋ ๋ฆฝ์ ์ธ ๋ฐ์ดํฐ ์ํ๋ ์๋๋ค.
๊ฒฐ๊ณผ
| ์ ์ฑ | seed | ํธ์ถ | ํ์ด์ง | Recall@10 |
|---|---|---|---|---|
| ๊ธฐ๋ณธ ๊ฒ์ | โ | 0 | 9,488 | 0.7483 |
| ํญ์ ๋ณด์กฐ ๊ฒ์ | โ | 2,948 | 6,287 | 0.8138 |
| ์ ์ ์ฐจ์ด ๊ท์น | โ | 2,548 | 6,323 | 0.8097 |
| ๊ธฐ์กด 16๊ฐ ํน์ง | 1729 | 2,408 | 6,326 | 0.8100 |
| ๊ธฐ์กด 16๊ฐ ํน์ง | 2718 | 2,317 | 6,331 | 0.8094 |
| ์ 20๊ฐ, ๋น์ฉ ์ ํ | 1729 | 2,363 | 6,439 | 0.8111 |
| ์ 20๊ฐ, ๋น์ฉ ์ ํ | 2718 | 2,328 | 6,440 | 0.8104 |
| ์ 20๊ฐ, ฮป=0 | 1729 | 2,457 | 6,434 | 0.8111 |
| ์ 20๊ฐ, ฮป=0 | 2718 | 2,432 | 6,429 | 0.8107 |
๋ชจ๋ ์ ์ฑ ์ ์ฒซ ํ๋ณด๋ฅผ ๋ณด์กดํด Recall@1์ด 0.4179๋ก ๊ฐ๋ค. ๋ seed ๋ชจ๋ ํ๊ฐ etcd/test-infra/lxd์์ ๊ฒ์ฆ ์ ํ ฮป๋ 1/0/0์ด์๋ค. ํ๊ฐ ๊ฒฐ๊ณผ์์ ฮป=0์ด ๋ ์ข์ ๋ณด์ด๋๋ผ๋ ์ฌํ์ ์ฃผ ์ ์ฑ ์ ๋ฐ๊พธ์ง ์๋๋ค. ์์ 10๊ฐ ํ์ง์ ์ํญ ์ฌ๋์ง๋ง ํ์ด์ง ๋น์ฉ์ ์ ํ์์ผ ์๋ ๋น์ฉ ๋ชฉํ๋ฅผ ์ถฉ์กฑํ์ง ๋ชปํ๋ค.
์ฃผ seed์ ์ ์ฅ์๋ณ ์ด์ โ์ ํ์ด์ง/ํธ์ถ์ ๋ค์๊ณผ ๊ฐ๋ค.
| ํ๊ฐ ์ ์ฅ์ | ํ์ด์ง | ํธ์ถ |
|---|---|---|
| etcd | 1,602โ1,599 | 618โ540 |
| test-infra | 2,300โ2,418 | 852โ894 |
| lxd | 2,424โ2,422 | 938โ929 |
๋ค๋ฅธ seed์์๋ test-infra์ ํ์ด์ง๊ฐ 2,305โ2,419๋ก ๋์๋ค. ์ ํ๊ฐ ์ ์ฅ์๋ณ๋ก ๋ค๋ฅด๊ฒ ๋ํ๋๋ฉฐ, ์ผ๋ถ ์ ์ฅ์์ ์ด๋์ ์ ์ฒด ๊ฐ์ ์ผ๋ก ๋ณด๊ณ ํ์ง ์๋๋ค. ์ด ๊ฒฐ๊ณผ๋ ๋จ์ด ์ผ์น ์์ฒด๊ฐ ๋ชจ๋ ๊ณผ์ ์ ๋ฌด์ฉํ๋ค๋ ์ฆ๋ช ์ ์๋์ง๋ง, ํ์ฌ ๋ชฉํยท๋ถํ ์์ ์ด ๋ค ํน์ง์ ์ถ๊ฐํ ๊ทผ๊ฑฐ๋ ์ ๊ณตํ์ง ๋ชปํ๋ค. ๊ฐ์ ์๋ฃ์์ ๋ ์ข์ ์ซ์๊ฐ ๋์ฌ ๋๊น์ง ํ๋ผ๋ฏธํฐ๋ฅผ ๊ณ์ ํ์ํ์ง ์๋๋ค.
๊ตฌํยท์ฌํยท์์
๊ณตํต Go ํ์ต๊ธฐ๋ ๊ณ ์ 8์ด ์ถ๊ฐ ๋ฐฐ์ด๊ณผ ํ์ฑ ์ด ์ 0/4/8๋ก ๊ธฐ์กด 12/16 ๋ฐ ์ 20์ฐจ์์ ์ฒ๋ฆฌํ๋ค. ๊ธฐ์กด ์ฐ์ ์์ยท๋ชจ๋ธ ์คํค๋ง๋ ์ ์งํ๋ค. ๋ฐฐํฌ ๊ฒ์ฆ์ riido-coverage-claim-v1๊ณผ ์ ํํ 20๊ฐ ๊ณ์๋ฅผ ์๊ตฌํ๋ฉฐ ๊ธฐ์กด 16์ฐจ์ ๋ชจ๋ธ๊ณผ ํผ๋ํ์ง ์๋๋ค. FP32๋ก ๋ฐ์ฌ๋ฆผํ ์ ํ ๊ณ์์ด๋ฉฐ 3์ง ๋ชจ๋ธยทLaya ์ฒดํฌํฌ์ธํธ๊ฐ ์๋๋ค.
์ 30๊ฐ ํค๋์ ๊ฒฐ๊ณผ JSON์ด ์ฌ์คํ์์ 31/31 ๋ฐ์ดํธ ์ผ์นํ๋ค. ๊ณตํต ์ฝ๋ ์์ ํ ๊ธฐ์กด ์คํ 21(16์ฐจ์)๊ณผ 20(12์ฐจ์)๋ ๊ฐ๊ฐ31/31 ํ์ผ์ด ๊ทธ๋๋ก ์ฌํ๋๋ค. ์ด์ HF ์์นด์ด๋ธ ๋ฌด๊ฒฐ์ฑ ๊ฒ์ฌ๋ ํต๊ณผํ๋ค. ์ด ์์ยท๊ฐ์คํฉยท์ ๋ต/๊ฐ์ค์น ์ ์งยทํ๊ฐ ์ ์ฅ์ ๊ฒฉ๋ฆฌยท์๋ชป๋ ๊ฐ/์ฐจ์ยท๋ชจ๋ธ ๊ณ์ฝ์ ๊ฒ์ฌํ๋ค.
Apple M4 Pro/macOS/Go 1.27.1 CPU์์ ์์ฒ ๊ฒ์ฆยท๊ฒ์ยทํน์งยท30ํ ํ์ตยทํ๊ฐยท์ถ๋ ฅ ์ ์ฒด ํ ๋ฒ์ wall2.04์ด, user1.67์ด, peak RSS90,374,144๋ฐ์ดํธ(์ฝ86.2MiB). ์ ์ฒด ํ๋ก์ธ์ค ๋น์ฉ์ด๋ฉฐ ๋จ์ผ ์ถ๋ก ยทGPU ๋ฉ๋ชจ๋ฆฌยท์ด์ ๋๋น RSS ๊ฐ์ ์ฆ๊ฑฐ๊ฐ ์๋๋ค. ๋ชจ๋ธ JSON ํ๋๋1,152โ1,171๋ฐ์ดํธ๋ค. ์ถ๊ฐ ํน์ง ์ถ์ถ ๋น์ฉ์ ์ ํ๋ ํฉ์ฑ ์ธก์ ์ ์คํ24์ ์๋ค. ์ ์ฒด LLM ์๊ฐยท์ฌ์ฉ๋ ์ ๊ฐ์ ๋ฏธ๊ฒ์ฆ์ด๋ค.
go run ./cmd/riido-coverageclaim --out .cache/coverage-claim-25
์ ์ฒด ๊ฒฐ๊ณผ. CIยท๋ผ์ด์ ์คยทํ์ผ ๊ฒ์ฆ ํ ์์น ํค๋๋ HF์ ์ฐ๊ตฌ์ฉ์ผ๋ก๋ง ๋ณด๊ดํ๋ค. Git์๋ ์๋ฌธยท์ง๋ฌธยท๊ฐ๋ณ ์ ๋ตยท๊ฐ์ค์นยทํ๋กํ์ผ์ ๋ฃ์ง ์๋๋ค. ๊ธฐ๋ณธ ๊ธฐ๋ฅ์ ํ์ฑํํ์ง ์๋๋ค.
๋ค์์ ์ด ํน์ง ๊ฒฝ๋ก์ ์ถ๊ฐ ํ๋์ ๋ณด๋ฅํ๊ณ , ๊ธฐ์กด ์ ์ฑ ์ ์ ์ฅ์๋ณ ์คํจ์ ๋๋ฌธ ํฐ ํ์ด์ง ์ํด๋ฅผ ๋ถ๋ฆฌํด ์ ๊ฒํ๋ค. ์ ๋ ฅ ์ ๋ณดยท๋ถํฌ ์ฐจ์ด์ ํ์ต ๋ชฉํ์ ๋ฌธ์ ๋ฅผ ๊ตฌ๋ถํ ๋ณ๋ ๊ณํ์ด ํ์ํ๋ค. ์๋ก์ด ์ค์ ์ฌ์ฉ์ ์์ฒญ ์ต์2,400๊ฐ์ ์์ด์ ํธ ์๋ฃ์จยท์ด๋น์ฉ ๊ฒ์ฆ์ ์ฌ์ ํ ๋ฏธ์๋ฃ๋ค. ๊ธฐ์กด ์ธ ์ ์ฅ์ ์๋ฃ์ ๋ฐ๋ณต ๊ด์ฐฐ์ ์ต์ข ๋ ๋ฆฝ ์ํ์ด ์๋๋ฉฐ CoSQA reserve๋ ์ฌ์ฉํ์ง ์์๋ค.
Publication / ๋ฐฐํฌ: immutable research archive. 37/37 files byte-identical after download; exact-source CI passed. MANIFEST SHA-256: 09abdb32f44119be1ae54f7d38be4fa35d6a8dbc0c88208a3ef6bb044f3b60cf. PR #48 merged as b3248efccaadc2701e291afa933bec2f7b8c6865; research-only, not activated.
Follow-up: changed-call loss audit 26.