Claim Projection 69 70 KO - teamswyg/laya-tools GitHub Wiki

์•„์ฃผ ์ž‘์€ ํžŒํŠธ ๋ชจ๋ธ: ์‹ค์ œ ์ค€๋น„69์™€ ์ƒˆ ๋ถ„ํ• 70

๋ชฉํ‘œ๋Š” ์—์ด์ „ํŠธ๊ฐ€ ๋จผ์ € ํ™•์ธํ•  ๊ทผ๊ฑฐ ํ›„๋ณด์˜ ์ˆœ์„œ๋ฅผ ์ €๋ ดํ•˜๊ฒŒ ์ œ์•ˆํ•˜๋Š” ๊ฒƒ์ด๋‹ค. Laya ๋ณธ์ฒด์˜ ์ƒˆ ํ•™์Šต๊ณผ ๊ตฌ๋ถ„ํ•˜๋Š” encoder-free ์ฃผ์žฅ ํžŒํŠธ ์‹คํ—˜์ด๋‹ค. ๋ชจ๋ธ์ด ์•ž์— ๋†“์€ ํ›„๋ณด๋Š” ์›๋ฌธ๊ณผ ์š”๊ตฌ์‚ฌํ•ญ์œผ๋กœ ๊ฒ€์ฆํ•˜๊ณ , ํ‹€๋ ค๋„ ๋‚˜๋จธ์ง€ ํ›„๋ณด์™€ fallback์„ ์œ ์ง€ํ•œ๋‹ค. ์‹คํ–‰ ์Šน์ธ์ด๋‚˜ ์ •๋‹ต ์ฆ๋ช…๊ธฐ๊ฐ€ ์•„๋‹ˆ๋‹ค.

์˜ˆ๋ฅผ ๋“ค์–ด โ€œ์ค‘์ฒฉ ๋””๋ ‰ํ„ฐ๋ฆฌ์˜ Go ํŒŒ์ผ์„ ์ฐพ๋Š”๋‹คโ€๋Š” ์š”์ฒญ์— ์—ฌ๋Ÿฌ ํ•จ์ˆ˜ ์„ค๋ช…์ด ์žˆ์œผ๋ฉด, ์–ด๋–ค ์„ค๋ช…๋ถ€ํ„ฐ ํ™•์ธํ• ์ง€๋ฅผ ์ œ์•ˆํ•œ๋‹ค. ์„ฑ๊ณต ๊ธฐ์ค€์€ ๊ฐ™์€ ์š”์ฒญ์—์„œ ๋งž๋Š” ํ›„๋ณด๊นŒ์ง€ ํ•„์š”ํ•œ ํ™•์ธ ํšŸ์ˆ˜๊ฐ€ ์ค„์–ด๋“œ๋Š”์ง€๋‹ค. ์ด๊ฒƒ๋„ ๊ฐœ๋ฐœ์šฉ ๋Œ€๋ฆฌ ์ง€ํ‘œ์ด๊ณ  ์‹ค์ œ LLM ์‚ฌ์šฉ๋Ÿ‰์€ ๋”ฐ๋กœ ๊ด€์ธกํ•ด์•ผ ํ•œ๋‹ค.

์™„๋ฃŒ๋œ ๊ฒƒ

  • ์›๋ž˜72๊ฐœ ์š”์ฒญ์˜ ์ฒซ ์‹ค์ œ Go ๋ฐฐ์—ด ์ค€๋น„69: Project1ํšŒยท์žฌ์‹œ๋„0ยทfit0. train90/validation36ํ–‰ ์ค‘ ์†์‹ค ๊ฐ€์ค‘์น˜0์ธ18/1ํ–‰๋„ ๋ณด์กดํ–ˆ๋‹ค. ๋ฏธํ™•์ • ํ›„๋ณด63๊ฐœ๋Š” nullable ๊ฐ์‚ฌ ์ž๋ฃŒ์— ๋‚จ๊ธฐ๊ณ  calibration์€ fitting์—์„œ ์ œ์™ธํ–ˆ๋‹ค.
  • ์ž‘์„ฑ์ž์™€ ๋ณ„๋„ ๊ฒ€ํ† ์ž์˜ ์ €์žฅ ์›๋ณธยท๊ฐ๋…ยท๋ฐฐ์—ด ๋Œ€์กฐ๊ฐ€ ํ†ต๊ณผํ–ˆ๋‹ค. ๊ฒ€ํ†  ๋„๊ตฌ์˜ ํ›„๋ณด ์ˆ˜ ๊ฐ€์ • ์˜ค๋ฅ˜์™€ ์žฅ๋ถ€ ์ถ”์‚ฐ ์ •์ •๋„ ๋ณด์กดํ–ˆ๋‹ค. feature ์žฌ์ถ”์ถœ์ด๋‚˜ ํ•™์Šต ์„ฑ๋Šฅ ๊ฒ€์ฆ์€ ์•„๋‹ˆ๋‹ค.
  • ์ƒˆ upstream68 ์š”์ฒญ4๊ฐœ๋ฅผ ๋”ํ•œ76๊ฐœ/226ํ›„๋ณด/19๊ฐ€์กฑ์„ ์ „์ฒด๋กœ ๋‹ค์‹œ ๋ฐฐ์ •ํ–ˆ๋‹ค. ๊ณ ์ • seed1729ยท์ฒซ Assign1ํšŒยท์žฌ์‹œ๋„0. known-containing ๊ฐ€์กฑ์€ train11/validation4/calibration3์ด๊ณ  ๊ธฐ์กด coverage๊ฐ€ ํ†ต๊ณผํ–ˆ๋‹ค. ๊ณผ๊ฑฐ66 ์—ญํ•  ๋’ค์— ์ƒˆ ์‚ฌ๋ก€๋ฅผ ๋ถ™์ด์ง€ ์•Š์•˜๋‹ค.

์ˆซ์ž๋ฅผ ์ฝ๋Š” ๋ฒ•

๊ด€์ธก ์‹ค์ œ ๊ฐ’ ํ•ด์„
์›๋ž˜72๊ฐœ ์ค€๋น„์˜ ์†Œ์œ  payload ์•ฝ1.69MiB ๋ฐ˜ํ™˜ ๋ฐฐ์—ดยท๋ณด์กด ๋ฌธ์ž์—ด ๊ณ„์‚ฐ, ์ž„์‹œ ํ• ๋‹น ์ œ์™ธ
๊ฐ™์€ ์ „์ฒด ํ”„๋กœ์„ธ์Šค peak RSS/wall ์•ฝ53.95MiB /0.466์ดˆ ์ฝ๊ธฐยท๊ฒ€์ฆยท๋ฐฐ์—ดยทJSON ์ถœ๋ ฅ์„ ํฌํ•จํ•œ ๋‹จ์ผ ๊ฐœ๋ฐœ ๊ด€์ธก
์›๋ณธ ๊ฒฐ๊ณผ / ๊ณต๊ฐœ ์š”์•ฝ ์•ฝ7.7MB /97KB ์š”์•ฝ์€ ์ „์ฒด feature๋ฅผ ์ƒ๋žตํ•˜๋ฉฐ ํ•™์Šต ์ž์‚ฐ์„ ๋Œ€์ฒดํ•˜์ง€ ์•Š์Œ
์ „์ฒด76๊ฐœ ์—ญํ•  ์ค€๋น„ peak RSS/wall ์•ฝ51.19MiB /0.478์ดˆ metadata์™€ ์—ญํ•  ์ค€๋น„; ํ•™์Šตยท์ถ”๋ก ์ด ์•„๋‹˜

CPU1/soft Go heap256MiB/์™ธ๋ถ€300์ดˆ๋กœ ์‹คํ–‰ํ–ˆ๋‹ค. soft heapยทpayloadยทJSONยทRSS๋Š” ๋‹ค๋ฅธ ํ•ญ๋ชฉ์ด๋‹ค. GPUยทGo heapยทCodex ํ† ํฐ ์ ˆ๊ฐ๊ณผ AI ๋ณด์กฐ ์ค€๋น„ยท๊ฒ€ํ†  ๋น„์šฉ์€ ๋ฏธ์ธก์ •์ด๋‹ค.

๋‹ค์Œ ์ฒซ ํ•™์Šต

76๊ฐœ ์—ญํ• ์— ๋งž๋Š” ๋ฐฐ์—ด์„ ๋ณ„๋„๋กœ ๊ณ ์ •ํ•œ ๋’ค8192์ฐจ์› FP32 fit1ํšŒ๋ฅผ ์‹คํ–‰ํ•œ๋‹ค. ๊ฐ™์€ validation์—์„œ ๋„ค ๋น„ํ•™์Šต ๊ธฐ์ค€ ์ค‘ ์ตœ์„ ์˜ ํ•˜๋‚˜์™€ ๋น„๊ตํ•˜๋ฉฐ ๊ฐ€์ค‘์น˜0 ํ›„๋ณด๋„ ์ˆœ์œ„ ํ‰๊ฐ€์— ๋‚จ๊ธด๋‹ค. calibration์€ fit๊ณผ epoch ์„ ํƒ์—์„œ ์ œ์™ธํ•œ๋‹ค. ์ƒˆ ๋‘ upstream ๊ฐ€์กฑ์€ ์‹ค์ œ๋กœ train์— ๋“ค์–ด๊ฐ”์œผ๋ฏ€๋กœ ์ด validation์„ ๊ทธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์— ๋Œ€ํ•œ ์ผ๋ฐ˜ํ™” ํ‰๊ฐ€๋ผ๊ณ  ๋ถ€๋ฅด์ง€ ์•Š๋Š”๋‹ค.

์ค€๋น„๋œ FP32 ํ˜•์‹์€32,792B, Decode๋œ float64 ๊ณ„์ˆ˜ ๋ฐฐ์—ด์€65,536B๋‹ค. ์ „์ฒด ์‹คํ–‰ ๋ฉ”๋ชจ๋ฆฌ์™€ ๋ฐ˜๋ณต ์ถ”๋ก  ๋น„์šฉ์€ ์‹ค์ œ ๋ชจ๋ธ์„ ๋งŒ๋“  ๋’ค ์ธก์ •ํ•œ๋‹ค. FP32 ๊ฐœ๋ฐœ ํšจ์šฉ์ด ํ™•๋ณด๋˜๋ฉด INT8/PTQ ์ž์‹์ด๋‚˜3์ง„ STE ํ˜•์ œ๋ฅผ ๋ณ„๋„ ์‹คํ—˜์œผ๋กœ ๋น„๊ตํ•œ๋‹ค. ๋„๋ฉ”์ธ๋ณ„ ๊ณ ์œ  ๋ณดํ˜ธ ํ‰๊ฐ€2400๊ฐœ ์ด์ƒ์€ ๋ณ„๋„ ๋ฏธ์™„๋ฃŒ ๋ชฉํ‘œ๋‹ค.

๊ธฐ๋ก๊ณผ ์‚ฌ์šฉ๋ฒ•

์ฒซ ์‹ค์ œ ์ค€๋น„69 ยท ์ „์ฒด76 ์—ญํ• 70 ยท ์ด์ „ PR92 CIยทWiki ๊ฒŒ์‹œ ํ™•์ธ.

์ง€๊ธˆ ์“ธ ์ˆ˜ ์žˆ๋Š” ๋น„ํ•™์Šต Go ๋ช…๋ น์€ riido-shortclaim์ด๋‹ค. ์‚ฌ์šฉ๋ฒ•56์˜ ์š”์ฒญยทํ›„๋ณด JSON์œผ๋กœ ์‹œ์ž‘ํ•œ๋‹ค. ์ด ๊ธฐ๋ก์ด ํ•™์Šต ๋ชจ๋ธ์„ ๊ธฐ๋ณธ ๋“ฑ๋กํ•œ ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ๊ณ„์ˆ˜๋Š” GitHub์— ์˜ฌ๋ฆฌ์ง€ ์•Š๊ณ  ๋ผ์ด์„ ์Šคยท๊ฒ€์ฆยทCI๋ฅผ ํ†ต๊ณผํ•œ ํ•œ์ • ๋ฒ„์ „๋งŒ Hugging Face์— ๋ณ„๋„ ๊ฒŒ์‹œํ•œ๋‹ค. English.