Claim Projection 69 70 KO - teamswyg/laya-tools GitHub Wiki
์์ฃผ ์์ ํํธ ๋ชจ๋ธ: ์ค์ ์ค๋น69์ ์ ๋ถํ 70
๋ชฉํ๋ ์์ด์ ํธ๊ฐ ๋จผ์ ํ์ธํ ๊ทผ๊ฑฐ ํ๋ณด์ ์์๋ฅผ ์ ๋ ดํ๊ฒ ์ ์ํ๋ ๊ฒ์ด๋ค. Laya ๋ณธ์ฒด์ ์ ํ์ต๊ณผ ๊ตฌ๋ถํ๋ encoder-free ์ฃผ์ฅ ํํธ ์คํ์ด๋ค. ๋ชจ๋ธ์ด ์์ ๋์ ํ๋ณด๋ ์๋ฌธ๊ณผ ์๊ตฌ์ฌํญ์ผ๋ก ๊ฒ์ฆํ๊ณ , ํ๋ ค๋ ๋๋จธ์ง ํ๋ณด์ fallback์ ์ ์งํ๋ค. ์คํ ์น์ธ์ด๋ ์ ๋ต ์ฆ๋ช ๊ธฐ๊ฐ ์๋๋ค.
์๋ฅผ ๋ค์ด โ์ค์ฒฉ ๋๋ ํฐ๋ฆฌ์ Go ํ์ผ์ ์ฐพ๋๋คโ๋ ์์ฒญ์ ์ฌ๋ฌ ํจ์ ์ค๋ช ์ด ์์ผ๋ฉด, ์ด๋ค ์ค๋ช ๋ถํฐ ํ์ธํ ์ง๋ฅผ ์ ์ํ๋ค. ์ฑ๊ณต ๊ธฐ์ค์ ๊ฐ์ ์์ฒญ์์ ๋ง๋ ํ๋ณด๊น์ง ํ์ํ ํ์ธ ํ์๊ฐ ์ค์ด๋๋์ง๋ค. ์ด๊ฒ๋ ๊ฐ๋ฐ์ฉ ๋๋ฆฌ ์งํ์ด๊ณ ์ค์ LLM ์ฌ์ฉ๋์ ๋ฐ๋ก ๊ด์ธกํด์ผ ํ๋ค.
์๋ฃ๋ ๊ฒ
- ์๋72๊ฐ ์์ฒญ์ ์ฒซ ์ค์ Go ๋ฐฐ์ด ์ค๋น69: Project1ํยท์ฌ์๋0ยทfit0. train90/validation36ํ ์ค ์์ค ๊ฐ์ค์น0์ธ18/1ํ๋ ๋ณด์กดํ๋ค. ๋ฏธํ์ ํ๋ณด63๊ฐ๋ nullable ๊ฐ์ฌ ์๋ฃ์ ๋จ๊ธฐ๊ณ calibration์ fitting์์ ์ ์ธํ๋ค.
- ์์ฑ์์ ๋ณ๋ ๊ฒํ ์์ ์ ์ฅ ์๋ณธยท๊ฐ๋ ยท๋ฐฐ์ด ๋์กฐ๊ฐ ํต๊ณผํ๋ค. ๊ฒํ ๋๊ตฌ์ ํ๋ณด ์ ๊ฐ์ ์ค๋ฅ์ ์ฅ๋ถ ์ถ์ฐ ์ ์ ๋ ๋ณด์กดํ๋ค. feature ์ฌ์ถ์ถ์ด๋ ํ์ต ์ฑ๋ฅ ๊ฒ์ฆ์ ์๋๋ค.
- ์ upstream68 ์์ฒญ4๊ฐ๋ฅผ ๋ํ76๊ฐ/226ํ๋ณด/19๊ฐ์กฑ์ ์ ์ฒด๋ก ๋ค์ ๋ฐฐ์ ํ๋ค. ๊ณ ์ seed1729ยท์ฒซ Assign1ํยท์ฌ์๋0. known-containing ๊ฐ์กฑ์ train11/validation4/calibration3์ด๊ณ ๊ธฐ์กด coverage๊ฐ ํต๊ณผํ๋ค. ๊ณผ๊ฑฐ66 ์ญํ ๋ค์ ์ ์ฌ๋ก๋ฅผ ๋ถ์ด์ง ์์๋ค.
์ซ์๋ฅผ ์ฝ๋ ๋ฒ
| ๊ด์ธก | ์ค์ ๊ฐ | ํด์ |
|---|---|---|
| ์๋72๊ฐ ์ค๋น์ ์์ payload | ์ฝ1.69MiB | ๋ฐํ ๋ฐฐ์ดยท๋ณด์กด ๋ฌธ์์ด ๊ณ์ฐ, ์์ ํ ๋น ์ ์ธ |
| ๊ฐ์ ์ ์ฒด ํ๋ก์ธ์ค peak RSS/wall | ์ฝ53.95MiB /0.466์ด | ์ฝ๊ธฐยท๊ฒ์ฆยท๋ฐฐ์ดยทJSON ์ถ๋ ฅ์ ํฌํจํ ๋จ์ผ ๊ฐ๋ฐ ๊ด์ธก |
| ์๋ณธ ๊ฒฐ๊ณผ / ๊ณต๊ฐ ์์ฝ | ์ฝ7.7MB /97KB | ์์ฝ์ ์ ์ฒด feature๋ฅผ ์๋ตํ๋ฉฐ ํ์ต ์์ฐ์ ๋์ฒดํ์ง ์์ |
| ์ ์ฒด76๊ฐ ์ญํ ์ค๋น peak RSS/wall | ์ฝ51.19MiB /0.478์ด | metadata์ ์ญํ ์ค๋น; ํ์ตยท์ถ๋ก ์ด ์๋ |
CPU1/soft Go heap256MiB/์ธ๋ถ300์ด๋ก ์คํํ๋ค. soft heapยทpayloadยทJSONยทRSS๋ ๋ค๋ฅธ ํญ๋ชฉ์ด๋ค. GPUยทGo heapยทCodex ํ ํฐ ์ ๊ฐ๊ณผ AI ๋ณด์กฐ ์ค๋นยท๊ฒํ ๋น์ฉ์ ๋ฏธ์ธก์ ์ด๋ค.
๋ค์ ์ฒซ ํ์ต
76๊ฐ ์ญํ ์ ๋ง๋ ๋ฐฐ์ด์ ๋ณ๋๋ก ๊ณ ์ ํ ๋ค8192์ฐจ์ FP32 fit1ํ๋ฅผ ์คํํ๋ค. ๊ฐ์ validation์์ ๋ค ๋นํ์ต ๊ธฐ์ค ์ค ์ต์ ์ ํ๋์ ๋น๊ตํ๋ฉฐ ๊ฐ์ค์น0 ํ๋ณด๋ ์์ ํ๊ฐ์ ๋จ๊ธด๋ค. calibration์ fit๊ณผ epoch ์ ํ์์ ์ ์ธํ๋ค. ์ ๋ upstream ๊ฐ์กฑ์ ์ค์ ๋ก train์ ๋ค์ด๊ฐ์ผ๋ฏ๋ก ์ด validation์ ๊ทธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋ํ ์ผ๋ฐํ ํ๊ฐ๋ผ๊ณ ๋ถ๋ฅด์ง ์๋๋ค.
์ค๋น๋ FP32 ํ์์32,792B, Decode๋ float64 ๊ณ์ ๋ฐฐ์ด์65,536B๋ค. ์ ์ฒด ์คํ ๋ฉ๋ชจ๋ฆฌ์ ๋ฐ๋ณต ์ถ๋ก ๋น์ฉ์ ์ค์ ๋ชจ๋ธ์ ๋ง๋ ๋ค ์ธก์ ํ๋ค. FP32 ๊ฐ๋ฐ ํจ์ฉ์ด ํ๋ณด๋๋ฉด INT8/PTQ ์์์ด๋3์ง STE ํ์ ๋ฅผ ๋ณ๋ ์คํ์ผ๋ก ๋น๊ตํ๋ค. ๋๋ฉ์ธ๋ณ ๊ณ ์ ๋ณดํธ ํ๊ฐ2400๊ฐ ์ด์์ ๋ณ๋ ๋ฏธ์๋ฃ ๋ชฉํ๋ค.
๊ธฐ๋ก๊ณผ ์ฌ์ฉ๋ฒ
์ฒซ ์ค์ ์ค๋น69 ยท ์ ์ฒด76 ์ญํ 70 ยท ์ด์ PR92 CIยทWiki ๊ฒ์ ํ์ธ.
์ง๊ธ ์ธ ์ ์๋ ๋นํ์ต Go ๋ช
๋ น์ riido-shortclaim์ด๋ค. ์ฌ์ฉ๋ฒ56์ ์์ฒญยทํ๋ณด JSON์ผ๋ก ์์ํ๋ค. ์ด ๊ธฐ๋ก์ด ํ์ต ๋ชจ๋ธ์ ๊ธฐ๋ณธ ๋ฑ๋กํ ๊ฒ์ ์๋๋ค. ๊ณ์๋ GitHub์ ์ฌ๋ฆฌ์ง ์๊ณ ๋ผ์ด์ ์คยท๊ฒ์ฆยทCI๋ฅผ ํต๊ณผํ ํ์ ๋ฒ์ ๋ง Hugging Face์ ๋ณ๋ ๊ฒ์ํ๋ค. English.