Coverage Claim 25 KO - teamswyg/laya-tools GitHub Wiki

๋‹จ์–ด ์ผ์น˜ ํŠน์ง• ์กฐํ•ฉ ํ•™์Šต 25

20๊ฐœ ํŠน์ง• ์กฐํ•ฉ์€ ๋‘ ์ดˆ๊ธฐ๊ฐ’ ๋ชจ๋‘ ํŽ˜์ด์ง€ ๋น„์šฉ์„ ์•…ํ™”์‹œ์ผฐ๋‹ค. ์ด ํŠน์ง• ์ถ”๊ฐ€ ๊ฒฝ๋กœ๋Š” ๊ธฐ๋ณธ ๋ชจ๋ธ์— ์ฑ„ํƒํ•˜์ง€ ์•Š๋Š”๋‹ค. ์ฃผ ๋น„๊ต์—์„œ ๊ธฐ์กด 16๊ฐœ ํŠน์ง• ๋Œ€๋น„ ํŽ˜์ด์ง€ 6,326โ†’6,439, ํ˜ธ์ถœ 2,408โ†’2,363์ด๋‹ค. ํ˜ธ์ถœ 45ํšŒ๋ฅผ ์•„๋ผ๋Š” ๋Œ€์‹  113ํŽ˜์ด์ง€๋ฅผ ๋” ์ฝ์œผ๋ฉฐ, ์‚ฌ์ „ ํ•ฉ๊ฒฉ ๊ธฐ์ค€๋„ ๋ฏธ๋‹ฌ์ด๋‹ค.

๋น„๊ต ์กฐ๊ฑด

์‹คํ—˜ 24์—์„œ ๋‹จ์ผ ํŠน์ง•์˜ ์‹ ํ˜ธ๊ฐ€ ์•ฝํ–ˆ๋”๋ผ๋„ ์กฐํ•ฉ ํšจ๊ณผ๊นŒ์ง€ ์—†๋‹ค๊ณ  ๋‹จ์ •ํ•˜์ง€ ์•Š๊ธฐ ์œ„ํ•ด, ๊ณ„ํš์„ ํ•™์Šต ์ „์— ๊ณ ์ •ํ•˜๊ณ  ๋„ค ํŠน์ง•์„ ๋ชจ๋‘ ์ถ”๊ฐ€ํ–ˆ๋‹ค. ํ‰๊ฐ€์—์„œ ์ข‹์€ ํŠน์ง•๋งŒ ๊ณ ๋ฅด์ง€ ์•Š์•˜๋‹ค.

๊ธฐ์กด 12๊ฐœ ํŠน์ง• + ์ ์ˆ˜ ๋ถ„ํฌ 4๊ฐœ ๋’ค์— ์ฒซ ํ›„๋ณด ์งˆ์˜ ๋‹จ์–ด ์ผ์น˜์œจยท์ƒ์œ„ 20๊ฐœ ํ‰๊ท ยทํ‘œ์ค€ํŽธ์ฐจยท์–ดํœ˜ ๋ถ€์žฌ ๋น„์œจ์„ ๋ถ™์˜€๋‹ค. ์ด 20๊ฐœ์ด๋ฉฐ ๋ชจ๋“  ํŠน์ง•์€ ๊ธฐ๋ณธ ๊ฒ€์ƒ‰๊ณผ ๊ธฐ์กด ์ธ๋ฑ์Šค์—์„œ ๋ณด์กฐ ๊ฒ€์ƒ‰ ์ „์— ๊ณ„์‚ฐํ•œ๋‹ค. ๋ ˆํฌ ์ด๋ฆ„ยท์ •๋‹ตยท๋ณด์กฐ ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ๋Š” ์ž…๋ ฅ์— ์—†๋‹ค.

๋ชฉํ‘œ๋Š” ๊ธฐ๋ณธ ํŽ˜์ด์ง€โˆ’๋ณด์กฐ ํŽ˜์ด์ง€โˆ’ํ˜ธ์ถœ ํŽ˜๋„ํ‹ฐ์˜ ๋ถ€ํ˜ธ, ๊ฐ€์ค‘์น˜๋Š” ๊ทธ ์ ˆ๋Œ“๊ฐ’์ด๋‹ค. ํŽ˜๋„ํ‹ฐ {0,0.25,1,4,16}, seed {1729,2718}, ํ•™์Šต๋ฅ 0.1/L2 0.0001/100epoch/batch64, ๊ฒ€์ฆ ์ตœ์†Œ ์†์‹ค epoch, ๊ฒ€์ฆ์—์„œ๋งŒ 90% ํ˜ธ์ถœ ์˜ˆ์‚ฐ ์ž„๊ณ„๊ฐ’ยทํŽ˜๋„ํ‹ฐ ์„ ํƒ์„ ์ด์ „๊ณผ ๊ฐ™๊ฒŒ ์œ ์ง€ํ–ˆ๋‹ค. 3๊ฐœ ์ €์žฅ์†Œ ๋ถ„ํ•  ร—2์ดˆ๊ธฐ๊ฐ’ ร—5ํŽ˜๋„ํ‹ฐ = 30๊ฐœ ์ˆ˜์น˜ ํ—ค๋“œ์ด๋ฉฐ ํ‰๊ฐ€ ์งˆ๋ฌธ์€ ๊ณ ์œ  2,948๊ฐœ๋‹ค.

์ฐจ์›์ด ๋‹ฌ๋ผ์ง€๋ฉด ์ดˆ๊ธฐํ™”์™€ ์ตœ์ ํ™” ๊ฒฝ๋กœ๋„ ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ๋‹ค. ๊ฐ™์€ seed๋ฅผ ์‚ฌ์šฉํ–ˆ๋‹ค๊ณ  ์ตœ์ ํ™” ๊ฒฝ๋กœ๊นŒ์ง€ ์™„์ „ํžˆ ์ง์ง€์–ด์ง„ ๋น„๊ต๋ผ๊ณ  ์ฃผ์žฅํ•˜์ง€ ์•Š๋Š”๋‹ค. ๋‘ seed๋Š” ๋…๋ฆฝ์ ์ธ ๋ฐ์ดํ„ฐ ์‹œํ—˜๋„ ์•„๋‹ˆ๋‹ค.

๊ฒฐ๊ณผ

์ •์ฑ… seed ํ˜ธ์ถœ ํŽ˜์ด์ง€ Recall@10
๊ธฐ๋ณธ ๊ฒ€์ƒ‰ โ€” 0 9,488 0.7483
ํ•ญ์ƒ ๋ณด์กฐ ๊ฒ€์ƒ‰ โ€” 2,948 6,287 0.8138
์ ์ˆ˜ ์ฐจ์ด ๊ทœ์น™ โ€” 2,548 6,323 0.8097
๊ธฐ์กด 16๊ฐœ ํŠน์ง• 1729 2,408 6,326 0.8100
๊ธฐ์กด 16๊ฐœ ํŠน์ง• 2718 2,317 6,331 0.8094
์ƒˆ 20๊ฐœ, ๋น„์šฉ ์„ ํƒ 1729 2,363 6,439 0.8111
์ƒˆ 20๊ฐœ, ๋น„์šฉ ์„ ํƒ 2718 2,328 6,440 0.8104
์ƒˆ 20๊ฐœ, ฮป=0 1729 2,457 6,434 0.8111
์ƒˆ 20๊ฐœ, ฮป=0 2718 2,432 6,429 0.8107

๋ชจ๋“  ์ •์ฑ…์€ ์ฒซ ํ›„๋ณด๋ฅผ ๋ณด์กดํ•ด Recall@1์ด 0.4179๋กœ ๊ฐ™๋‹ค. ๋‘ seed ๋ชจ๋‘ ํ‰๊ฐ€ etcd/test-infra/lxd์—์„œ ๊ฒ€์ฆ ์„ ํƒ ฮป๋Š” 1/0/0์ด์—ˆ๋‹ค. ํ‰๊ฐ€ ๊ฒฐ๊ณผ์—์„œ ฮป=0์ด ๋” ์ข‹์•„ ๋ณด์ด๋”๋ผ๋„ ์‚ฌํ›„์— ์ฃผ ์ •์ฑ…์„ ๋ฐ”๊พธ์ง€ ์•Š๋Š”๋‹ค. ์ƒ์œ„ 10๊ฐœ ํ’ˆ์งˆ์€ ์†Œํญ ์˜ฌ๋ž์ง€๋งŒ ํŽ˜์ด์ง€ ๋น„์šฉ์„ ์•…ํ™”์‹œ์ผœ ์›๋ž˜ ๋น„์šฉ ๋ชฉํ‘œ๋ฅผ ์ถฉ์กฑํ•˜์ง€ ๋ชปํ–ˆ๋‹ค.

์ฃผ seed์˜ ์ €์žฅ์†Œ๋ณ„ ์ด์ „โ†’์ƒˆ ํŽ˜์ด์ง€/ํ˜ธ์ถœ์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค.

ํ‰๊ฐ€ ์ €์žฅ์†Œ ํŽ˜์ด์ง€ ํ˜ธ์ถœ
etcd 1,602โ†’1,599 618โ†’540
test-infra 2,300โ†’2,418 852โ†’894
lxd 2,424โ†’2,422 938โ†’929

๋‹ค๋ฅธ seed์—์„œ๋„ test-infra์˜ ํŽ˜์ด์ง€๊ฐ€ 2,305โ†’2,419๋กœ ๋Š˜์—ˆ๋‹ค. ์•…ํ™”๊ฐ€ ์ €์žฅ์†Œ๋ณ„๋กœ ๋‹ค๋ฅด๊ฒŒ ๋‚˜ํƒ€๋‚˜๋ฉฐ, ์ผ๋ถ€ ์ €์žฅ์†Œ์˜ ์ด๋“์„ ์ „์ฒด ๊ฐœ์„ ์œผ๋กœ ๋ณด๊ณ ํ•˜์ง€ ์•Š๋Š”๋‹ค. ์ด ๊ฒฐ๊ณผ๋Š” ๋‹จ์–ด ์ผ์น˜ ์ž์ฒด๊ฐ€ ๋ชจ๋“  ๊ณผ์ œ์— ๋ฌด์šฉํ•˜๋‹ค๋Š” ์ฆ๋ช…์€ ์•„๋‹ˆ์ง€๋งŒ, ํ˜„์žฌ ๋ชฉํ‘œยท๋ถ„ํ• ์—์„œ ์ด ๋„ค ํŠน์ง•์„ ์ถ”๊ฐ€ํ•  ๊ทผ๊ฑฐ๋Š” ์ œ๊ณตํ•˜์ง€ ๋ชปํ–ˆ๋‹ค. ๊ฐ™์€ ์ž๋ฃŒ์—์„œ ๋” ์ข‹์€ ์ˆซ์ž๊ฐ€ ๋‚˜์˜ฌ ๋•Œ๊นŒ์ง€ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ๊ณ„์† ํƒ์ƒ‰ํ•˜์ง€ ์•Š๋Š”๋‹ค.

๊ตฌํ˜„ยท์žฌํ˜„ยท์ž์›

๊ณตํ†ต Go ํ•™์Šต๊ธฐ๋Š” ๊ณ ์ • 8์—ด ์ถ”๊ฐ€ ๋ฐฐ์—ด๊ณผ ํ™œ์„ฑ ์—ด ์ˆ˜ 0/4/8๋กœ ๊ธฐ์กด 12/16 ๋ฐ ์ƒˆ 20์ฐจ์›์„ ์ฒ˜๋ฆฌํ•œ๋‹ค. ๊ธฐ์กด ์‚ฐ์ˆ  ์ˆœ์„œยท๋ชจ๋ธ ์Šคํ‚ค๋งˆ๋Š” ์œ ์ง€ํ•œ๋‹ค. ๋ฐฐํฌ ๊ฒ€์ฆ์€ riido-coverage-claim-v1๊ณผ ์ •ํ™•ํ•œ 20๊ฐœ ๊ณ„์ˆ˜๋ฅผ ์š”๊ตฌํ•˜๋ฉฐ ๊ธฐ์กด 16์ฐจ์› ๋ชจ๋ธ๊ณผ ํ˜ผ๋™ํ•˜์ง€ ์•Š๋Š”๋‹ค. FP32๋กœ ๋ฐ˜์˜ฌ๋ฆผํ•œ ์„ ํ˜• ๊ณ„์ˆ˜์ด๋ฉฐ 3์ง„ ๋ชจ๋ธยทLaya ์ฒดํฌํฌ์ธํŠธ๊ฐ€ ์•„๋‹ˆ๋‹ค.

์ƒˆ 30๊ฐœ ํ—ค๋“œ์™€ ๊ฒฐ๊ณผ JSON์ด ์žฌ์‹คํ–‰์—์„œ 31/31 ๋ฐ”์ดํŠธ ์ผ์น˜ํ–ˆ๋‹ค. ๊ณตํ†ต ์ฝ”๋“œ ์ˆ˜์ • ํ›„ ๊ธฐ์กด ์‹คํ—˜ 21(16์ฐจ์›)๊ณผ 20(12์ฐจ์›)๋„ ๊ฐ๊ฐ31/31 ํŒŒ์ผ์ด ๊ทธ๋Œ€๋กœ ์žฌํ˜„๋๋‹ค. ์ด์ „ HF ์•„์นด์ด๋ธŒ ๋ฌด๊ฒฐ์„ฑ ๊ฒ€์‚ฌ๋„ ํ†ต๊ณผํ–ˆ๋‹ค. ์—ด ์ˆœ์„œยท๊ฐ€์ค‘ํ•ฉยท์ •๋‹ต/๊ฐ€์ค‘์น˜ ์œ ์ง€ยทํ‰๊ฐ€ ์ €์žฅ์†Œ ๊ฒฉ๋ฆฌยท์ž˜๋ชป๋œ ๊ฐ’/์ฐจ์›ยท๋ชจ๋ธ ๊ณ„์•ฝ์„ ๊ฒ€์‚ฌํ–ˆ๋‹ค.

Apple M4 Pro/macOS/Go 1.27.1 CPU์—์„œ ์›์ฒœ ๊ฒ€์ฆยท๊ฒ€์ƒ‰ยทํŠน์ง•ยท30ํšŒ ํ•™์Šตยทํ‰๊ฐ€ยท์ถœ๋ ฅ ์ „์ฒด ํ•œ ๋ฒˆ์€ wall2.04์ดˆ, user1.67์ดˆ, peak RSS90,374,144๋ฐ”์ดํŠธ(์•ฝ86.2MiB). ์ „์ฒด ํ”„๋กœ์„ธ์Šค ๋น„์šฉ์ด๋ฉฐ ๋‹จ์ผ ์ถ”๋ก ยทGPU ๋ฉ”๋ชจ๋ฆฌยท์ด์ „ ๋Œ€๋น„ RSS ๊ฐœ์„  ์ฆ๊ฑฐ๊ฐ€ ์•„๋‹ˆ๋‹ค. ๋ชจ๋ธ JSON ํ•˜๋‚˜๋Š”1,152โ€“1,171๋ฐ”์ดํŠธ๋‹ค. ์ถ”๊ฐ€ ํŠน์ง• ์ถ”์ถœ ๋น„์šฉ์˜ ์ œํ•œ๋œ ํ•ฉ์„ฑ ์ธก์ •์€ ์‹คํ—˜24์— ์žˆ๋‹ค. ์ „์ฒด LLM ์‹œ๊ฐ„ยท์‚ฌ์šฉ๋Ÿ‰ ์ ˆ๊ฐ์€ ๋ฏธ๊ฒ€์ฆ์ด๋‹ค.

go run ./cmd/riido-coverageclaim --out .cache/coverage-claim-25

์ „์ฒด ๊ฒฐ๊ณผ. CIยท๋ผ์ด์„ ์ŠคยทํŒŒ์ผ ๊ฒ€์ฆ ํ›„ ์ˆ˜์น˜ ํ—ค๋“œ๋Š” HF์— ์—ฐ๊ตฌ์šฉ์œผ๋กœ๋งŒ ๋ณด๊ด€ํ•œ๋‹ค. Git์—๋Š” ์›๋ฌธยท์งˆ๋ฌธยท๊ฐœ๋ณ„ ์ •๋‹ตยท๊ฐ€์ค‘์น˜ยทํ”„๋กœํŒŒ์ผ์„ ๋„ฃ์ง€ ์•Š๋Š”๋‹ค. ๊ธฐ๋ณธ ๊ธฐ๋Šฅ์€ ํ™œ์„ฑํ™”ํ•˜์ง€ ์•Š๋Š”๋‹ค.

๋‹ค์Œ์€ ์ด ํŠน์ง• ๊ฒฝ๋กœ์˜ ์ถ”๊ฐ€ ํŠœ๋‹์„ ๋ณด๋ฅ˜ํ•˜๊ณ , ๊ธฐ์กด ์ •์ฑ…์˜ ์ €์žฅ์†Œ๋ณ„ ์‹คํŒจ์™€ ๋“œ๋ฌธ ํฐ ํŽ˜์ด์ง€ ์†ํ•ด๋ฅผ ๋ถ„๋ฆฌํ•ด ์ ๊ฒ€ํ•œ๋‹ค. ์ž…๋ ฅ ์ •๋ณดยท๋ถ„ํฌ ์ฐจ์ด์™€ ํ•™์Šต ๋ชฉํ‘œ์˜ ๋ฌธ์ œ๋ฅผ ๊ตฌ๋ถ„ํ•  ๋ณ„๋„ ๊ณ„ํš์ด ํ•„์š”ํ•˜๋‹ค. ์ƒˆ๋กœ์šด ์‹ค์ œ ์‚ฌ์šฉ์ž ์š”์ฒญ ์ตœ์†Œ2,400๊ฐœ์™€ ์—์ด์ „ํŠธ ์™„๋ฃŒ์œจยท์ด๋น„์šฉ ๊ฒ€์ฆ์€ ์—ฌ์ „ํžˆ ๋ฏธ์™„๋ฃŒ๋‹ค. ๊ธฐ์กด ์„ธ ์ €์žฅ์†Œ ์ž๋ฃŒ์˜ ๋ฐ˜๋ณต ๊ด€์ฐฐ์€ ์ตœ์ข… ๋…๋ฆฝ ์‹œํ—˜์ด ์•„๋‹ˆ๋ฉฐ CoSQA reserve๋Š” ์‚ฌ์šฉํ•˜์ง€ ์•Š์•˜๋‹ค.

Source / ์†Œ์Šค

Publication / ๋ฐฐํฌ: immutable research archive. 37/37 files byte-identical after download; exact-source CI passed. MANIFEST SHA-256: 09abdb32f44119be1ae54f7d38be4fa35d6a8dbc0c88208a3ef6bb044f3b60cf. PR #48 merged as b3248efccaadc2701e291afa933bec2f7b8c6865; research-only, not activated.

Follow-up: changed-call loss audit 26.