Next60 Development KO - teamswyg/laya-tools GitHub Wiki
์ค์ JWT ์บ์ ๋น์ฉ ๋น๊ต / Actual JWT cache costs: ํ๊ตญ์ด ยท English. 160์ ๋๋ฑ์ฑยท48๊ฐ ์ด์ ๊ธฐ๋ก ์๋ฃ. ๊ฐ์ ์์ฒญ 4๊ฐยท3ํ ์ค๋น ์ํ ๋ฐ๋ณต์ ํฉ๊ณ์์ ๊ณ ์ ์์๋ ์ฝ 1.90๋ฐฐ ๋นจ๋ผ์ก๊ณ ์ฒซ ํ๋ณด ์ผ์น ์ ์บ์๋ ์ฝ 6.8% ๋๋ ธ์ต๋๋ค. / 160 paired outcomes match; 48 operations complete. Aggregate fixed-order warm work is about 1.90ร faster; a matching predeclared-first candidate is about 6.8% slower with caching. ๋ ๋ฆฝ ํ๊ฐยท๋ชจ๋ธ ์ด๋ยทํ ํฐ ์ ๊ฐ์ ์ฆ๊ฑฐ๋ ์๋๋๋ค. / No independent evaluation, model benefit or token-savings evidence. PR152 ยท CI ยท Hub
์ต๊ทผ JWT ๊ฐ๋ฐ ๊ฒ์ฆ / Latest JWT development validation: ํ๊ตญ์ด ยท English. ์ค์ ์๋ณธ160ํ,32์กฐํฉ4T/28F/0U,OS ์ต๋RSS11.94MiB. ์์ ํ ์บ์ ์ฌ์ฌ์ฉ์ ์ค์ ๋น์ฉ์ ๋ค์ ๋ณ๋ ๋น๊ต์ด๋ฉฐ ์ ํ์ตยท๋ ๋ฆฝ ํ๊ฐยทํ ํฐ ์ ๊ฐ์ ์ฆ๊ฑฐ๋ ์๋๋๋ค. /160 actual original calls;32 combinations4T/28F/0U;11.94MiB peak RSS. Safe-cache costs are a separate next comparison; no new training/independent evaluation/token-savings evidence. PR151 ยท CI ยท Hugging Face
์์ฒญ๊ณผ ํ๋ณด ์ค๋ช
์ ๋ฐฉํฅยท๊ตฌ๊ฐ ๊ฒฝ๊ณยท์ค๋จ ์กฐ๊ฑด์ ์์ Go ๋ฐฐ์ด๋ก ๋น๊ตํด ํ์ธ ์์๋ฅผ ์ ์ํฉ๋๋ค. ํ๊ธ ์ฌ์ฉ๋ฒ ยท ์คํ ์ ์ฒด. stdin JSON ํ ๊ฐ๋ฅผ ๋ฐ์ ๊ด๊ณ๊ฐ๊ณผ ํ๋ณด ์์๋ฅผ ์ถ๋ ฅํ๋ ๋ณ๋ riido-hintpreview์
๋๋ค. ๊ธฐ๋ณธ riidolaya์ Codex ์ฐ๋์ ์ ํ ์ฌํญ์ด๋ฉฐ ๋ชจ๋ธ ๋ค์ด๋ก๋๋ ํ์ ์์ต๋๋ค.
์ด๋ฏธ ๋ณธ B-tree 12์์ฒญ์ ๋ชจ์ ํ์ธ ํ์๋ 54โ26ํ์ ๋๋ค. ์ ๋ตยท์ค๋ต ํผํฉ 9์์ฒญ์ Top1 9/9, ์ ๋ต๋ง ์๋ 1์์ฒญ๊ณผ ์ ๋ต ์๋ 2์์ฒญ์ ๋ฐ๋ก ๊ธฐ๋กํ์ต๋๋ค. ์ ์ฅ ๊ด์ธก ๋น์ฉ ํฉ์ 187,673โ85,793ns์ง๋ง ์ค์ ์ฌ์ ๋ ฌ ์คํ์ ์๋ ๊ฐ์ ์ ์๋๋๋ค. ์ ํ์ตยท๊ฐ์ค์นยท์๋ณธ API ์คํ 0ํ์ด๋ฉฐ ๋ ๋ฆฝ 2,400๊ฐ ํ๊ฐ์ Codex ์ ๊ฐ์ ๋ฏธ์ ์ฆ์ ๋๋ค.
์ง์ ๋ฌธ์ฅ ํ๋๋ฅผ 8๋ฒ ๋ฐ๋ณตํ ์ข์ CPU ์ธก์ ์์ ๊ด๊ณ ํ์ฑ ์ค์๊ฐ์ 2,895nsยทGo ํ ๋น 0B/0ํ์์ต๋๋ค. ์ ์ฒด CLIยทJSONยท์ ๋ ฌยท๊ฒ์ฆยทRSSยทGPU ์์น๋ ์๋๋๋ค. ๊ธฐํธ ๋ณด์กด ํด์๋ ๊ธฐ์กด๋ณด๋ค ๋๋ ธ์ต๋๋ค. ์ง์ ๋ฌธ๋ฒ ๋ฐ์ ๋ฏธ์ธ์/๋ถ๋ถ ์ธ์์ ๋ณด์กดํ๋ฉฐ, ์ธ์๋ฅ ์ ์ ๋ต์ด๋ ํ๊ฐ ์๊ฒฉ์ ๋ปํ์ง ์์ต๋๋ค.
์ ์ฅ์ ๋ฃจํธ์์ bash scripts/verify-text-representations.sh๋ก ์ ์ฅ ๊ฒฐ๊ณผ๋ฅผ ์ฌํํฉ๋๋ค. PR150์ ํ์ CI ๋ค ์์
์ ํต๊ณผํ๊ณ ๋ด์ด ๋์ผ ํธ๋ฆฌ๋ก ๋ณํฉํ์ต๋๋ค. ์ OS์ ์ ์ฒด 12์๋ต์ด ์ผ์นํฉ๋๋ค. HF ์ถ๊ฐ ๊ณต๊ฐ 14ํ์ผ์ ์์ ์ฝ๊ธฐ ๋์กฐํ๊ณ ๊ธฐ์กด 820ํ์ผยท10ํ๊ทธ๋ฅผ ๋ณด์กดํ์ต๋๋ค. ์์ฒด ์์ค๋ Apache-2.0, ์์ฒ ๊ณ ์ง๋ ๊ณ ์ B-tree ์๋ฃ๋ฅผ ๋ฐ๋ฆ
๋๋ค.
๋ค์์ ๋ค๋ฅธ ์์ค ๊ฐ์กฑ์ JWT ์ ์ฑ ๊ฒ์ฆ์ ์ค๋นํฉ๋๋ค. ๋ฐ๋ณต ์๋ช ๊ฒ์ฆ์ ์ค์ด๋ ๋จ์ ์บ์์ ๋จผ์ ๋น๊ตํ๋ฉฐ, ๊ธฐ์กด ๊ตฌ๊ฐ ํํ์ ์ ์ด๋ ์ ๋ชจ๋ธ ํจ๊ณผ๋ ์์ง ๊ด์ธกํ์ง ์์์ต๋๋ค.
์ด์ ๊ธฐ๋ก:
B-tree ์ฌ์ฉ๋ฒยท๊ฒฐ๊ณผ์์ ๋ค์ ํ๋์ฉ 12๊ฐ ์์ฒญยท96๊ฐ ์ ํ ๋ผ๋ฒจ์ ๋ณ๋๋ก ์ค๋นํ์ต๋๋ค. ๊ฒฝ๊ณ๊ฐ์ ํฌํจํ ์ง, ์ด๋ค ๋ฐฉํฅ์ผ๋ก ์ํํ ์ง, ๋ ๋ฒ ํ์ธํ ๋ค ๋ฉ์ถ์ง ๊ฐ์ ์๊ตฌ๋ฅผ ์๋ณธ Go API ์ฌ๋ ๊ฐ์ ๋น๊ตํ์ต๋๋ค. 34๊ฐ ์ ๋ ฅ์์ ํ๋ณด 272ํ๋ฅผ ์ค์ ์คํํ๊ณ , ์ฒซ ๊ฒฐ๊ณผ ์ ์ฒด๋ฅผ ๋ณ๋ ๊ณ์ฐ์ผ๋ก ์ฌ๊ฒ์ฆํ์ต๋๋ค.
๋จ์ ๊ฒ์์ ์ ๋ต๊น์ง 54~59ํ ํ์ธํ์ผ๋ฉฐ, ์ ๋ต์ ๋ฏธ๋ฆฌ ์๋ ๋๊ด์ ์ธ ์ต์์น๋ 26ํ์์ต๋๋ค. ๊ฐ์ ์ฌ์ง๋ฅผ ๋ฐ๊ฒฌํ ๊ฒ์ด๋ฉฐ ์ ๋ชจ๋ธ์ ์ฑ๊ณต๋ฅ ์ด๋ ์ค์ ์๋ ๊ฐ์ ์ ์๋๋๋ค. ์ด ์์ ๊ฒ์ฆ์์๋ ์ถ๊ฐ ํํธ ๊ณ์ฐ์ ์ธ ์๊ฐ๋ ์์ฒญ๋น ์ฝ 8ยตs๋ก ์ข์ต๋๋ค. ๋ค์ ์คํ์ ํ๋ณด ํ์ธ ํ์์ ์ค๋นยท์ถ๋ก ยทfallback ๋น์ฉ์ ๋ชจ๋ ๋น๊ตํฉ๋๋ค.
์ด ์๋ฃ๋ ์ฐ๊ฒฐ๋ ์์ค ๊ฐ์กฑ ํ๋์ ๊ฐ๋ฐ ํ์ต ์๋ฃ์ ๋๋ค. ๊ธฐ์กด 37ํ๊ณผ ์ญํ ์ ์ ์งํ๋ฉฐ, ํฉ์ณ์ 49๊ฐ ๋ ๋ฆฝ Golden ์ฌ๋ก๋ก ์ธ์ง ์์ต๋๋ค. ์ ๋ต ์์ ๋ ์์ฒญ์ ๋ฌธ์ฒด๊ฐ ๋ค๋ฅธ ํธํฅ๋ ๊ณต๊ฐํ๊ณ ๋ค์ ์์ง์์ ํํ๊ณผ truth๋ฅผ ๋ ๋ฆฝ์ ์ผ๋ก ๋ค์ํํฉ๋๋ค. ๋ค์ ํํ ๋น๊ต ๊ณํ์ ๊ธฐ์กด FP32 ํน์ง ๋ชจ๋ธ, ์์ ๊ด๊ณ ํํ, ํ์ INT8/3์ง ๋ชจ๋ธ์ ๋ณ๋ ๋จ๊ณ๋ก ๋์์ต๋๋ค. ์ ํ์ตยท๊ฐ์ค์นยทLaya ์ธ์ฝ๋ยทGPU ์คํ์ 0์ด๋ฉฐ, ๋ ๋ฆฝ 2,400๊ฐ ํ๊ฐ์ ์ค์ ์์ด์ ํธ ์ ๊ฐ์ ์์ง ๋ฌ์ฑํ์ง ์์์ต๋๋ค.
์ ์ฅ์ ๋ฃจํธ์์ bash scripts/verify-btree-utility.sh๋ฅผ ์คํํ๋ฉด ์ ์ฅ ๊ฒฐ๊ณผยทํฉ์ฑ ๋์กฐยท์ค์ Go ๋ฐ์ดํฐ Reader๋ฅผ ๊ฒ์ฌํฉ๋๋ค. replay๋ฅผ ๋ถ์ด๋ฉด ์๋ณธ API๋ CPU์์ ๋ค์ ์คํํฉ๋๋ค. Codex ์ฐ๋์ด๋ ๋ชจ๋ธ ๋ค์ด๋ก๋๋ ํ์ ์์ต๋๋ค. upstream Apache-2.0 ๊ณ ์ ์์ค์ ์ ์ฒด ๊ณ ์ง๋ฅผ ๋ณด์กดํ๊ณ , ๋ฏธ๋ ๋ชจ๋ธ์ ๋ชจ๋ ๊ถ๋ฆฌ๋ฅผ ํฌ๊ด ์ธ์ฆํ๋ค๋ ๋ป์ ์๋๋๋ค.
ํ์ CI ๋ค ์์ ์ด ํต๊ณผํ๊ณ ๋ด์ด ๊ฐ์ ์์ค ํธ๋ฆฌ๋ก ๋ณํฉํ์ต๋๋ค. HF ์40ํ์ผ์ ๊ณ ์ ์ปค๋ฐ์์ ์ ์ฒด ๋ฐ์ดํธ๋ฅผ ๋ค์ ๋์กฐํ์ผ๋ฉฐ, ์ด์ 780ํ์ผ์ Git/LFS ์ง๋ฌธยทํฌ๊ธฐ์ ๊ธฐ์กด10ํ๊ทธ๋ฅผ ์ ์งํ์ต๋๋ค. Linux/macOS์272๊ฐ Got๋ ๊ฐ๊ฐ ์๋ ๊ธฐ๋ก๊ณผ ์ ํํ ๊ฐ๊ณ ์์ ๋ณํ๊ฐ ์์์ต๋๋ค. ์๋ก ๋ค๋ฅธ ์๊ฐ ํ๋ณธ์ ๊ฐ๊ฐ ๋ณด์กดํ์ต๋๋ค.
PR149 ยท CI ยท Hugging Face 40 public files
์ด์ ๋จ๊ณ ๊ธฐ๋ก:
๋ชฉํ๋ ์์ฃผ ์ ์ ์์์ผ๋ก ์ฝ๋ ํ๋ณด์ ๋ํ ํํธ๋ฅผ ์์ฃผ ์ ์ํ๋ ์์ ๋ชจ๋ธ์ ๋๋ค. ์๋ฅผ ๋ค์ด โ์ด ํ๋ณด๊ฐ ์ค๋ฅ ๋ค์๋ ๋ค์ ์ค์ ์ฒ๋ฆฌํ ์ ์๋คโ๋ ์ฃผ์ฅ์ ๋จผ์ ์ ์ํ๊ณ , ์ค์ ๊ฒ์ฌ๋ก ํ์ธํฉ๋๋ค. ํํธ๋ง์ผ๋ก ์คํ์ ์น์ธํ๊ฑฐ๋ ์ ๋ต์ ํ์ ํ์ง ์์ต๋๋ค.
ํ์ฌ ๊ณต๊ฐ ์๋ฃ๋ **์์ฒญ 35๊ฐยท๋ผ๋ฒจ 102๊ฐ(๊ธ์ 35ยท๋ถ์ 67)**์ ๋๋ค. ์ ๋ ฅ 171๊ฐ, ์ ์ฒด ํ๋ณด ๊ด์ธก 509๊ฐ, ์ ํ ํ๋ณด ๊ด์ธก 500๊ฐ๋ฅผ ํฌํจํฉ๋๋ค. ์ด์ 33ํ์ ๋ฐ์ดํธ ๊ทธ๋๋ก ์ ์งํ์ต๋๋ค. Go ์์ฑยทReader ๊ธฐ๋ก๊ณผ ์ฌ์ฉ๋ฒยท๊ทผ๊ฑฐ๋ฅผ ๋ณผ ์ ์์ต๋๋ค.
์๋ก ์ถ๊ฐํ ๋ ์์ฒญ์์๋ JSON ํ ์ค์ ์์ ํ ๊ฐ ์ฒ๋ฆฌ์ ์๋ชป๋ UTF-8์ append ์ ๊ฑฐ๋ถ๋ฅผ ๊ฒ์ฌํ์ต๋๋ค. ์ถฉ์กฑยท๋ฐ๋กยท๋ฏธ์์ ๊ตฌ๋ถํ๋ฉฐ, ํ์ธํ ์ ์๋ ์ค๋ฅ ํต๋ก๋ ๋ฏธ์์ผ๋ก ๋จ๊น๋๋ค. ์๋ ค์ง ๋ฐ๋ก์ ๋ฏธ์ ์กฐ๊ฑด์ด ํจ๊ป ์์ผ๋ฉด ๋ฐ๋ก์ ๊ทผ๊ฑฐ๋ก๋ง ๋ถ์ ๋ผ๋ฒจ์ ๋ถ์ ๋๋ค. ๊ธฐ์กด API์ ์๋ ๊ณ์ฝ๊ณผ ์ ์๊ตฌ์ ์ฐจ์ด๋ฅผ ๋น๊ตํ๋ฏ๋ก ๋ถ์ผ์น ์์ฒด๋ฅผ ์๋ณธ ๋ฒ๊ทธ๋ก ๋จ์ ํ์ง ์์ต๋๋ค.
์๋ ๋ช ๋ น์ ๋ฐ์ดํฐ ํ ํ์ผ๋ง ๋ฐ์ต๋๋ค. ๋ชจ๋ธ ๋ค์ด๋ก๋ยท์ถ๋ก ยทํ์ต ์์ด ์ฝ์ ์ ์๊ณ Codex ์ฐ๋๋ ์ ํ ์ฌํญ์ ๋๋ค. ํ ์ค์ ์์ฒญ ํ๋, candidates๋ ๋น๊ตํ ์ฝ๋ ์ค๋ช , label์ ์ ํ ๊ด์ธก์ ๊ทผ๊ฑฐํ ๊ธ์ ยท๋ถ์ ์ ๋๋ค. ์์ฑ ๊ทผ๊ฑฐ์ ๋ฏธ์ ๊ฐ๊ณผ ์ ์ธ ํ๋ณด๋ ๋ณ๋ qualification/evidence์ ๋จ์ ์์ต๋๋ค.
hf download JooYoon/riidolaya-shortclaim-next60-development \
releases/next60-35-finite-v1/next60-development-thirtyfive/data/train.jsonl \
--type dataset --revision 7621cd34d298b4e2dfb59def7a9adaf6e45fef52 \
--local-dir ./riidolaya-next60-data์ ์ฅ์๋ฅผ ๋ฐ์ ๋ค ์๋ ๊ฒ์ฌ๋ฅผ ์คํํ๋ฉด ์ ์ฅ ๊ด์ธก ์ ์ฒด, ๋ฐ์ดํฐ ๋ฐ์ดํธ, ์ค์ ํ๋ก์ ํธ Reader์ 35๊ฐ ๊ฐ์ด ์ฌํ๋ฉ๋๋ค. ์๋ณธ ๊ด์ฐฐ๊ธฐยท๋ชจ๋ธยท์ ํ์ต์ ์คํํ์ง ์์ต๋๋ค.
bash scripts/verify-next60-thirtyfive.shPR126์ ํ์ CI ๋ค ์์ ์ด ํต๊ณผํ๊ณ ๋ด์ด ๋์ผ ์์ค ํธ๋ฆฌ๋ฅผ ๋ณํฉํ์ต๋๋ค. ์ ์ ์ฅ ๋น๊ต 33ํยท309์กฐ๊ฑด๊ณผ ์ ์ฒด ๋ฐ์ดํฐ 35ํ์ LinuxยทmacOS์์ ๋์กฐํ์ต๋๋ค. ๊ธฐ์กด Laya native ์ถ๋ก ๊ฒ์ฌ๋ ๋ณ๋๋ก ํต๊ณผํ์ต๋๋ค. GPU ์คํ์ ๋ฏธํ์ธ์ ๋๋ค.
Hugging Face ๊ณ ์ ๋ฒ์ ๊ณผ next60-35-finite-v1 ํ๊ทธ๋ฅผ ๊ฒ์ํ์ต๋๋ค. ๋ชฉ๋ก์ ์์ฒด ํ์ผ 720๊ฐยท๊ด๋ฆฌ ์์ฑ ํฌํจ 721๊ฐ์ ๋๋ค. ์ ํ์ผยท๋ณ๊ฒฝ ํ์ผ 84๊ฐ์ ๊ด๋ฆฌ ์์ฑ ํ์ผ 1๊ฐ, ์ด 888,897๋ฐ์ดํธ๋ฅผ ๊ณ ์ ์ปค๋ฐ์์ ์ง์ ๋์กฐํ๊ณ ๋ชจ๋ ์ผ์นํ์ต๋๋ค. ์ 639๊ฐ ๊ฒฝ๋ก์ ํ๊ทธ 8๊ฐ๋ฅผ ์ ์งํ์ต๋๋ค. ์ ํ์ผ ์ ์ฒด๋ฅผ ์ด๋ฒ ์ปค๋ฐ์์ ๋ค์ ๋ค์ด๋ก๋ํ๋ค๋ ๋ป์ ์๋๋๋ค.
Viewer๋ 35ํ์ ๋ชจ๋ ํ๋ยท์์ ์ผ์น, partial=false, ์๋ฆฐ ์ 0์ ํ์ธํ์ต๋๋ค. ์๋ต ์ปค๋ฐ๊ณผ ์ต์์ ์๋ฆผ ํ์๋ ์ ๊ณต๋์ง ์์ ๋ฏธํ์ธ์ผ๋ก ๋จ๊น๋๋ค. Viewer๋ ํ์ฌ main์ ๋ฐ๋ฅด๋ฏ๋ก ๊ณ ์ ์ปค๋ฐ ํ์ผ ์ฆ๋ช ๊ณผ ๊ตฌ๋ถํฉ๋๋ค.
35๊ฐ๋ ๊ฐ๋ฐ ์์ง ๋จ๊ณ์ ๋๋ค. ๋์งธ ํ๋ณด๋ง ๊ณจ๋ผ๋ 28/35๊ฐ ๋ง์ผ๋ฏ๋ก ๋ชจ๋ธ์ด ์ด๋ณด๋ค ์๋ฏธ ์๋ ๋์์ ์ฃผ๋์ง๋ถํฐ ํ์ธํด์ผ ํฉ๋๋ค. ์ Golden 20โ60 ๊ณํ์ ๊ธฐ์กด 35ํ๊ณผ ๋ณ๋์ ์ง๋จ์ด๋ฉฐ, 5ยท8ํ๋ณด์ ์ ๋ต 0ยท1ยท์ฌ๋ฌ ๊ฐยท๋ฏธ์ยท์ ์ฑ ๋ชจํธ ์ฌ๋ก๋ฅผ ๊ณ ๋ฅด๊ฒ ์์งํฉ๋๋ค. ๊ฐ์ ์๋ณธ ๊ฐ์กฑยท๊ณต์ ํจ์ยท๋ฒ์ญยท๋ณํ์ ๋ค๋ฅธ ํ๊ฐ ์ญํ ๋ก ๋๋์ง ์์ต๋๋ค.
๋ฏธ์ ์ ์ฉ ํ๋ณด์ ์ ๋ตยท๊ฐ์ค์น๋ null๋ก ๋ณด์กดํ๊ณ ๋ชจํธํ ๋ถ๋ชจ ์์ฒญ์ ํ์ต์์ ์ ์ธํ๋ Reader ์ด์์ ๊ฒํ ์ค์ ๋๋ค. ํ์ฌ ํ์ต ๋ณํ์ ๊ทธ๋๋ก ์ฐ๊ฒฐํ๋ฉด ๋ฏธ์์ ์์ฑ์ผ๋ก ์คํดํ ์ ์์ด, ๋ณํยท์์คยทํ๊ฐ๊น์ง ๋ง์คํฌ๋ฅผ ํ์ธํ ๋ค ์ฐ๊ฒฐํฉ๋๋ค. ์ ํ์ตยท๋ชจ๋ธ ์ถ๋ก ์ 0ํ์ ๋๋ค. ๋๋ฉ์ธ๋ณ ๋ณดํธ ํ๊ฐ 2,400๊ฐ์ ์ค์ ์ ์ฒด ๊ฒ์ฆ ์์ ๋ 5% ๊ฐ์๋ ์์ง ๋ฌ์ฑํ์ง ์์์ต๋๋ค. 3์ง ์ ์ฅ ํฌ๊ธฐ์ CPU ์ถ๋ก ํจ์ฉ๋ ๋ณ๋๋ก ์ฆ๋ช ํด์ผ ํฉ๋๋ค.
์์ฒด ์ฝ๋ยท์ค๋ช ยท์ ๋ ฅ์ Apache-2.0์ด๊ณ ๊ธฐ์กด upstream ์ ๋ฌธ ๊ณ ์ง๋ฅผ ๋ณด์กดํฉ๋๋ค. ์๋ณธ ์ฝ๋ ๋ณธ๋ฌธยท๋ชจ๋ธ ๋ณธ์ฒดยท๋ฐ์ด๋๋ฆฌยท์ฌ์ ์ ๋ ฅยท์ธ์ฆ์ ๋ณดยท์์ journal์ ๊ณต๊ฐํ์ง ์์ต๋๋ค. ๋ชจ๋ธ ๊ฒ์ ๊ถ๋ฆฌ๋ ๋ณ๋ ๊ฒํ ์ ๋๋ค. ์ด์19 ยท English.
์ด์ 33๊ฐ ์์ ์๋ด ์๋ฌธ / Previous 33-request guide, verbatim
๋ชฉํ๋ ์์ฒญ์ ๋์์ด ๋ ์ฝ๋ ํ๋ณด๋ฅผ ์์ฃผ ์ ์ ๋น์ฉ์ผ๋ก ์์ฃผ ์ ์ํ๋ ์์ ์ฃผ์ฅยทํํธ ๋ชจ๋ธ์ ๋๋ค. ํํธ ๋ค์๋ ์ค์ ๊ฒ์ฌ์ ๋ฐ๋ก๊ฐ ํ์ํฉ๋๋ค. ์ด ์๋ฃ๋ ๊ทธ ํ์ต ๊ทผ๊ฑฐ๋ฅผ ์๋ ๊ฐ๋ฐ ์๋ฃ์ ๋๋ค. ์ ๋ชจ๋ธ์ ์ฑ๋ฅ์ด๋ Codex ๋น์ฉ ์ ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๋ด์ ์๋ฃ๊ฐ ์๋๋๋ค.
33๊ฐ ์์ฒญยท96๊ฐ ๋ผ๋ฒจ์ ์ค์ Go๋ก ์์ฑํ๊ณ ํ๋ก์ ํธ Reader์33ํ ํธ์ถยท๋ฐํยท๊ฐ ์ผ์น๋ฅผ ํ์ธํ์ต๋๋ค. ์์ฑ ๊ธฐ๋ก๊ณผ Reader ๊ธฐ๋ก์ ์ ๊ณตํฉ๋๋ค. ๊ธฐ์กด30ํ์ ๋ฐ์ดํธ ๊ทธ๋๋ก ๋ณด์กดํ์ต๋๋ค. ํ์ผ์45,390๋ฐ์ดํธ, SHA-256์7b28ae6d119884c902b32ba781b3514f1d3774ca3a60cea16fe4ce11a3aad919์ ๋๋ค. PR124์ LinuxยทmacOS ์ฌํ ๊ฒ์ฌ์ ํ์ CI ๋ค ์์ ์ด ํต๊ณผํ๊ณ ๋ด์ด ๋ณํฉํ์ต๋๋ค. ์๋์ ์ค์ ๊ฒ์ ๊ฒฐ๊ณผ๋ ๊ทธ ์ดํ ๊ฒ์ฆํ์ต๋๋ค.
| ๋จ์ | ์ ๋ฐฐ์น | ๊ฒ์ฆํ ์ ์ฒด33๊ฐ |
|---|---|---|
| ์๋ฏธ ์์ฒญ | 3 | 33 |
| ์ ํํ ํ๋ณด ๋ผ๋ฒจ | 8: ๊ธ์ 3ยท๋ถ์ 5 | 96: ๊ธ์ 33ยท๋ถ์ 63 |
| ๊ณ ์ ์ ๋ ฅ | 14 | 160 |
| ์ ์ฒด ์๊ด์ธก | 42 | 476 |
| ์ ํํ ํ๋ณด์ ๊ด์ธก | 37 | 467 |
| ์ด ์๋ฃ ํ์ฅ์ ์ Fitยท๋ชจ๋ธ ์ถ๋ก | 0 | 0 |
42๋ฒ ์คํ์ 3๊ฐ ์์ฒญ์ ๋ํ ์ ๋ ฅ ๋ณํ๊ณผ ํ๋ณด ๋น๊ต์ ๋๋ค. ๋ ๋ฆฝ ์์ 42๊ฐ๋ก ์ธ์ง ์์ต๋๋ค. ์ค์ ๊ธฐ์กด30ํ์๋ ํ๋ณด88๊ฐ๊ฐ ์์ผ๋ฉฐ, ์ด๋ฅผ ์์๋ก90๊ฐ๋ก ์ฑ์ฐ์ง ์์ต๋๋ค. ์ ํ๋ณด9๊ฐ ์ค ๋ฏธ์ ์ ์ฉ1๊ฐ๋ฅผ ์ ์ธํ์ฌ ๋ผ๋ฒจ8๊ฐ๋ฅผ ์ถ๊ฐํฉ๋๋ค.
| ์์ฒญ | ๊ด์ธก์ผ๋ก ๋๋ฌ๋ ๊ตฌ๋ถ | ์ ํ ์ ํฉ ํ๋ณด ์์น |
|---|---|---|
| ์ง์ ํญ์ ๋นํธ ๋ณด์ | ์์ฒญ ํญ64์ธ๋ฐ ์ ์ฅ ๊ธธ์ด65์ธ ์ ๋ ฅ์์ ๊ฒฐ๊ณผ ๊ธธ์ด๊น์ง64์ฌ์ผ ํจ | ์ฒซ์งธ |
| JSON ์ ์์ ๊ฒ์ฌ๋ ์ถ์ถ | ํฐ ์ ์๋ฅผ ์ ํํ ๋ฌธ์์ด๋ก ๋ค๋ฃจ๊ณ ์์ยท๋ฒ์ ์ด๊ณผ๋ฅผ ์ค๋ฅ๋ก ๊ตฌ๋ณํด์ผ ํจ | ๋์งธ |
| ์๊ฒฉํ ์ด์ง ๋นํธ์ ์ฝ๊ธฐ | ์์ฌ ๋ฐ์ดํธยท์งง์ ์ ๋ ฅยท๊ผฌ๋ฆฌ ๋นํธ๋ฅผ ๊ฑฐ๋ถํ๊ณ ์์ ๊ฐ์ฒด๋ฅผ ๋ณด์กดํด์ผ ํจ | ์ ์งธ |
๊ธฐ์กด API๋ ์๋ ๊ณ์ฝ์ ๋ฐ๋ผ ๋์ํฉ๋๋ค. ์ฌ๊ธฐ์๋ ์๋ก ์์ฒญํ ๊ณ์ฝ์ ๋ง์กฑํ๋์ง ๋น๊ตํฉ๋๋ค. ๊ธฐ์กด ๋์์ด ์ถ๊ฐ ์๊ตฌ๋ฅผ ๋ง์กฑํ์ง ์๋๋ค๊ณ ํด์ upstream ๋ฒ๊ทธ๋ผ๊ณ ๋จ์ ํ์ง ์์ต๋๋ค. ์ ์ฅ์ยท์ถ์ฒ๋ ์ถ์ ์ ๋ณด์ด๋ฉฐ ๋ชจ๋ธ ํน์ง์๋ ์์ฒญ๊ณผ ํ๋ณด ๋ฌธ์ฅ๋ง ์ฌ์ฉํฉ๋๋ค.
์ฐธยท๊ฑฐ์งยท๋ฏธ์์ ๊ตฌ๋ถํฉ๋๋ค. 42๊ฐ ํ๋ณด-์ ๋ ฅ ๊ฒฐ๊ณผ๋ ์ถฉ์กฑ26ยท๋ฐ๋ก11ยท๋ฏธ์5, ์ธ๋ถ ์กฐ๊ฑด318๊ฐ๋ ์ถฉ์กฑ272ยท๋ฐ๋ก31ยท๋ฏธ์15์ ๋๋ค. GJSON์ ๊ธฐ์กด Int์๋ ์๊ตฌํ ์ค๋ฅ ๋ฐํ ํต๋ก๊ฐ ์์ด 5๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๋ฏธ์์ผ๋ก ๋ณด์กดํ๊ณ ๊ทธ ํ๋ณด์ ๋ผ๋ฒจ์ ๋ถ์ด์ง ์์ต๋๋ค. ์ด์ง ์ฝ๊ธฐ ๋ ๊ฒฐ๊ณผ์๋ ๊ฐ์ฒด ๋ณ๊ฒฝ์ด๋ผ๋ ๋ช ํํ ๋ฐ๋ก์ ์ค๋ฅ ์ข ๋ฅ ๋ฏธ์์ด ํจ๊ป ์์ต๋๋ค. ๋ฐ๋ก๊ฐ ๋ถ์ ๋ผ๋ฒจ์ ๊ทผ๊ฑฐ์ด๋ฉฐ, ๋ฏธ์์ ๊ฑฐ์ง์ผ๋ก ๋ฐ๊พธ์ง๋ ์์ต๋๋ค.
์ ๋ฐฐ์น์ ๋ฏธ์15๊ฐ ์ค ์ ํํ ํ๋ณด์๋2๊ฐ, ์ ์ธํ ํ๋ณด์๋13๊ฐ๊ฐ ์์ต๋๋ค. ๊ธฐ์กด30ํ ์์ฑ ๊ธฐ๋ก์ 23ํ ์ดํ ๋ฏธ์8๊ฐ์ ํฉ์น ๋ฒ์๋ ๊ฐ๊ฐ10ยท23๊ฐ์ ๋๋ค. ๋ ์ค๋๋ ์๋ถ๋ถ์ ๋ฏธ์ ๊ธฐ๋ก์ ๊ธฐ์กด ์๋ฃ์ ๊ทธ๋๋ก ๋จ์ ์์ต๋๋ค. ์ด ์์น๋ฅผ ์ ์ฒด ์ฐ๊ตฌ ์ด๋ ฅ์ ๋ฏธ์ ์ด๊ณ๋ก ์ฃผ์ฅํ์ง ์์ต๋๋ค.
๋ฐ์ดํฐ ํ์ผ์ data/train.jsonl์ด๋ฉฐ ํ ์ค์ด ์์ฒญ ํ๋์ ๋๋ค. ๊ธฐ์กด30ํ์ ์๋ถ๋ถ์ ๋ฐ์ดํธ ๊ทธ๋๋ก ์ ์งํ๊ณ ์3ํ์ ๋ค์ ๋ถ์ ๋๋ค. ๊ฐ ํ๋ณด์๋ ๋ช ํํ ๋ผ๋ฒจ๊ณผ ๊ฐ์ค์น1์ด ์์ต๋๋ค. ์ ์ธํ ํ๋ณด์ ๋ฏธ์ ์กฐ๊ฑด์ qualification/ROOT-QUALIFICATION.v3.json ๋ฐ evidence/SAVED-COMPARISON.v1.json์ ๋ณด์กดํฉ๋๋ค.
์ ์ฅ์ ๋ฃจํธ์์ ๋ค์ ๊ฒ์ฌ๋ฅผ ์คํํ ์ ์๋๋ก Go ์์ค์ ๊ฒ์ฆ ๋ช ๋ น์ ํจ๊ป ์ ๊ณตํฉ๋๋ค.
bash scripts/verify-next60-thirtythree.sh๊ฒ์ฌ ๋ฒ์๋ ์ ์ฅ๋ ์กฐ๊ฑด ๋น๊ต, ์ด์ ๋ฐ์ดํฐ ๋ณด์กด, ๋ฐ์ดํฐ ์์ฑ, ์ค์ LoadDevelopmentRow ๊ฐ ๋์กฐ์ ์์ฒด ์ค๋ฅ ์ ์ด์ ๋๋ค. ์๋ณธ ํ๋ณดยทLayaยท์ฃผ์ฅ ๋ชจ๋ธ์ ์คํํ์ง ์์ต๋๋ค. source/saved-comparer์ ๊ณต๊ฐ ์ฌํ ๊ฒ์ฌ๋ ์๋ ๊ฒฐ๊ณผ์ ๋ชจ๋ 42ํยท318์กฐ๊ฑด์ ๋น๊ตํฉ๋๋ค. ๊ณต๊ฐ์ฉ ๊ฒฝ๋ก ์๋ ์ค๋ช ์ผ๋ก ๋ฐ๊พผ ๋ค opaque ๊ธฐ๋ก์ ์ง๋ฌธ๋ง ๋น๊ต์์ ์ ์ธํฉ๋๋ค. ์ฌ์ ์คํ ์น์ธ ์๋ณธ์ ์ฌ์ธ์ฆํ๋ค๋ ์๋ฏธ๋ ์๋๋๋ค.
Go Reader ์ฌ์ฉ ์์๋ ๊ธฐ์กด ์๋ฃ30 ์ค๋ช ์ ์ฐธ๊ณ ํ์ธ์. ์ต๋16KiB ํ๊ณผ8๊ฐ ํ๋ณด์ ๊ณ ์ ๋ฐฐ์ด์ ์ฌ์ฉํ๋ฉฐ lock์ด ์์ต๋๋ค. ์ ์์ฒ์ ๋นํธ์ ๊ทธ๋ฃน82, GJSONยทMatchยทPretty ๊ทธ๋ฃน83์ผ๋ก ๋ฌถ์ด development_train์ ์ ์งํฉ๋๋ค. ์ ์ฅ ํ์์ ์์ฒ ์ด๋ฆ์ bits-and-blooms-bitset๊ณผ tidwall-gjson์ด๋ฉฐ ์ค์ ์ ์ฅ์ ์ด๋ฆ์ ๋ณ๋ ์ถ์ ํ๋์ ๋ณด์กดํฉ๋๋ค.
์๊ด์ธก์ ํ ๋ฒ๋ง ์คํํ์ต๋๋ค. ์์ง ํ๋ก์ธ์ค์ OS ์ต๋ RSS๋ 17,612,800๋ฐ์ดํธ(์ฝ16.8MiB), ์ ์ฒด ์๊ฐ์ 8.052์ด์์ต๋๋ค. ์ฌ๊ธฐ์๋1,739๋ฒ์ ํ์ผยท๋๋ ํฐ๋ฆฌ ์ ์ฅ ๋ฐ ACK๊ฐ ํฌํจ๋ฉ๋๋ค. ๋ชจ๋ธ ์ถ๋ก ๋ฉ๋ชจ๋ฆฌยทGPU ์คํยท์๋ ๊ฐ์ ์ ๋ปํ์ง ์์ต๋๋ค. ์ ์ฅ ๋น๊ต๊ธฐ ์คํ ํ์ผ์ ๋๋ฒ๊ทธ ์ ๋ณด๋ฅผ ์ ์ธํด 2,850,722๋ฐ์ดํธ์์ผ๋ฉฐ, ์ด๊ฒ๋ ๋ชจ๋ธ ๋ณธ์ฒด ํฌ๊ธฐ๊ฐ ์๋๋๋ค. Go pprof์ OS RSS๋ ์ธก์ ๋ฒ์๊ฐ ๋ค๋ฆ ๋๋ค.
์ ์ธ ์์ฒญ์ ํ๋ณด ์์น๋ฅผ ๋๋ด์ง๋ง ์ ์ฒด ์๋ฃ์์ ํญ์ ๋์งธ๋ฅผ ๊ณ ๋ฅด๋ ๊ธฐ์ค์ ์ฌ์ ํ28/33์ ๋๋ค. ํ์ต ์ ์์นยท๋ฌธ์ฒดยท์ดํ ๊ธฐ์ค๊ณผ ์๋ฏธ ์ค๋ณต์ ๊ฒ์ฌํฉ๋๋ค. 33๊ฐ๋ ์์ง ๋จ๊ณ์ด๋ฉฐ ์๋ Fit ์์ ์กฐ๊ฑด์ด ์๋๋๋ค. ์ฝ60๊ฐ์์ ์ถ์ฒ ๊ฐ์กฑ ๋จ์์ ์ค๋น๋๋ฅผ ๋ค์ ํ๋จํ๊ณ , ๋๋ฉ์ธ๋ณ ๋ณดํธ ์์ฒญ2,400๊ฐ ๊ณํ๊ณผ ๊ฒ์ฆ ์์ ๋5% ๊ฐ์ ๋ชฉํ๋ฅผ ์ ์งํฉ๋๋ค. ๊ธฐ์กด Fit3ํยท๋ ผ๋ฆฌ ๋ชจ๋ธ3๊ฐยท์คํจ ๋ชจ๋ธ ๋นํ์ฑ์ ์ ์งํฉ๋๋ค. 3์ง ์ ์ฅ ํฌ๊ธฐ์ ์ค์ CPU ํจ์ฉ์ ๋ณ๋๋ก ๊ฒ์ฆํฉ๋๋ค.
๋ค์ ์์ง ์ค๋น๋ ๋ฌผ๋ฆฌ JSON Lines์ ์์ ํ ๊ฐยท์ค๋ฅ ์ callback prefix์ ์๋ชป๋ UTF-8 append ๊ฑฐ๋ถ์ ๋๋ค. ๊ธฐ์กด ForEachLine์ ์ด๋ฏธ callback์ ์ค์ง๋ฅผ ์กด์คํ๋ฏ๋ก ์ด๋ฅผ ๊ฒฐํจ์ผ๋ก ์ฌํฌ์ฅํ์ง ์์ต๋๋ค. ์ ์ ๋ ฅ์ ๊ธฐ๋๊ฐ์ ์ค์ ๊ฒฐ๊ณผ ์ ์ ๊ณ ์ ํฉ๋๋ค.
์์ฒด ์ฝ๋ยท์ค๋ช ยท์ ๋ ฅ์ Apache-2.0์ ๋๋ค. ์ ํํ upstream API์ BSD/MIT ์ ๋ฌธ ๊ณ ์ง๋ evidence/notices์ ๊ฐ๊ฐ ์ ์งํฉ๋๋ค. ๊ณต๊ฐ ์๋ฃ์๋ ์๋ณธ ์ฝ๋ ๋ณธ๋ฌธยท๋ชจ๋ธ ๋ณธ์ฒดยท์คํ ๋ฐ์ด๋๋ฆฌยท์์ journalยท์ฌ์ ์์ ์ ๋ ฅยท์ธ์ฆ์ ๋ณด๊ฐ ์์ต๋๋ค. ์๋ณธ source/go.mod/๊ณ ์ง์ ์ง๋ฌธ๋ง ์ถ์ ํฉ๋๋ค. ๋ชจ๋ธ ๊ฒ์ ๊ถ๋ฆฌ๋ ๋ณ๋ ํ๋จ์ ๋๋ค.
์ด์์ ๋ฏธ์ ๋ฒ์ ์ค๋ฅยท์์ฒ ์ด๋ฆ ์ ์ฅ ํ์ ์์ ยท์ต์ด ๋น๊ต๊ธฐ ๋น๋์ ํฌ๊ธฐ ์ ํ ์คํจ์ ํ์ ํ์ธ์ history/CORRECTIONS.v1.json์ ๊ธฐ๋กํฉ๋๋ค. ์คํจ ํ์ผ๊ณผ ์ด์ ์ด์์ ๋ก์ปฌ์ ๋ณด์กดํ์ต๋๋ค. ๋ชจ๋ ๋ผ๋ฒจ์ ๊ณ ์ ์ ๋ ฅ์ ๋ํ ์ ํ ๊ทผ๊ฑฐ์ด๋ฉฐ ์๋ก์ด ์ ๋ ฅ์ ์ผ๋ฐ ์ ๋ต์ ๋ณด์ฅํ์ง ์์ต๋๋ค.
์ด์19 ยท ์ด์ HF30 ๊ณ ์ ๋ฒ์ ยท English
HF33 ๊ณ ์ ๋ฒ์ ์ ๊ณต๊ฐํ์ต๋๋ค. ์๋ก ์ถ๊ฐยท๋ณ๊ฒฝํ 82๊ฐ ํ์ผ 842,356๋ฐ์ดํธ์ ๊ด๋ฆฌ ์์ฑ ํ์ผ์ ๊ณ ์ ์ปค๋ฐ์์ ๋ค์ ๋ฐ์ ๋์กฐํ์ต๋๋ค. ํ์ฌ ๋ชฉ๋ก์ ์์ 638๊ฐยท๊ด๋ฆฌ ์์ฑ์ ํฌํจ639๊ฐ์ด๋ฉฐ ์ด์ ํ์ผ ๊ฒฝ๋ก์ ํ๊ทธ7๊ฐ๋ฅผ ๋ณด์กดํ์ต๋๋ค. ์ด์ 558ํ์ผ ์ ์ฒด ๊ฒ์ฆ์ HF30์์ ์ํํ ๊ธฐ๋ก์ ๋๋ค. ์ด๋ฒ ์ปค๋ฐ์์ ์ ํ์ผ ์ ์ฒด๋ฅผ ๋ค์ ๋ฐ์๋ค๋ ์๋ฏธ๋ ์๋๋๋ค.
Viewer๋ ์ฒซ ์์ฒญ์์ ์๋ฒ ์ค๋น ์ง์ฐ500์ ๋ฐํํ๊ณ , ๋ ๋ฒ์งธ ์์ฒญ์์ 33ํ์ ๋ชจ๋ ํ๋์ ์์ ์ผ์นยทpartial=falseยท์๋ฆฐ ์ 0์ ํ์ธํ์ต๋๋ค. ์๋ต ์ปค๋ฐ๊ณผ ์ต์์ ์๋ฆผ ํ์๋ ์ ๊ณต๋์ง ์์ ๋ฏธํ์ธ์ผ๋ก ๋จ๊น๋๋ค. Viewer๋ ํ์ฌ main์ ๋ฐ๋ฅด๋ฉฐ ๊ณ ์ ์ปค๋ฐ ํ์ผ ์ฆ๋ช ๊ณผ ๊ตฌ๋ถํฉ๋๋ค.
์๋๋ ๋ฐ์ดํฐ ํ ํ์ผ๋ง ๋ค์ด๋ก๋ํฉ๋๋ค. ๋ชจ๋ธ์ด๋ ํ์ต ์คํ ์์ด ์ฌ๋๊ณผ ์์ด์ ํธ๊ฐ ์ฝ์ด ์ฌ์ฉํ ์ ์์ต๋๋ค.
hf download JooYoon/riidolaya-shortclaim-next60-development \
releases/next60-33-finite-v1/next60-development-thirtythree/data/train.jsonl \
--type dataset --revision 2a1c2224e89f60eef9e381f98c0117206f60e0d2 \
--local-dir ./riidolaya-next60-dataGo Reader ์์์ ๋๋ค. bytes์ github.com/teamswyg/laya-tools/pkg/shortclaimdata๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
example, err := shortclaimdata.LoadDevelopmentRow(bytes.NewReader(line))
if err != nil {
return err
}
input := example.Input()
supervision := example.Supervision()์ ๋ ฅยท์ ๋ตยท์ถ์ ์ ๋ณด๋ ๊ตฌ๋ถ๋ฉ๋๋ค. Reader๋ ์ ์๋ ํ์ต์ ์คํํ์ง ์์ต๋๋ค. ๋ค์ ์ ๋ ฅ ๋ธ๋ฆฌ์ง๋ 1ยท7ยท33ยท60๊ฐ ํฉ์ฑ ์๋ฃ์ ๋ฌ์ฑํ ๊ทธ๋ฃน ๋ฒํธ, ์๋ชป๋ ๊ณํยท์ง๋ฌธยทํ ์ฐ๊ฒฐ์ ๊ฒ์ฌํ๋ Go ํ ์คํธ8๊ฐ๋ฅผ ํต๊ณผํ์ต๋๋ค. ์ค์ ์ ์๋ฃ๋ฅผ ํ์ต์ ๋๊ธฐ๊ฑฐ๋ Fit์ ์คํํ ๊ฒฐ๊ณผ๋ ์๋๋๋ค. ํ๋ณด ์์๋ฅผ ๋ชจ๋ ๋ฐ๊พธ๋ ํธํฅ ๊ฐ์ฌ๋ ์ค๋น ์ค์ ๋๋ค.
์ด์ HF30 ์๋ด ์๋ฌธ โ ์๋ โํ์ฌโ์ ์์น๋ ๋น์ ์ํ์ ๋๋ค
30๊ฐ ์๋ฏธ ์์ฒญยท88๊ฐ ํ๋ณด ๋ผ๋ฒจ์ ์ค์ ๊ฒ์ฆํ๊ณ HF์ ๊ณต๊ฐํ์ต๋๋ค. 30ํ ์๋ฃ์ ์ค๋ช ๋ฐ HF30 ๊ณ ์ ๋ฒ์ ์ ์ ๊ณตํฉ๋๋ค. ์์ 558ํ์ผ๊ณผ ํ30ํ์ ๋ชจ๋ ํ๋ยท์์๋ฅผ ๋์กฐํ๊ณ ์ด์ ํ๊ทธ๋ฅผ ๋ณด์กดํ์ต๋๋ค. ๊ฒ์ยท์ค์ CI ๊ทผ๊ฑฐ๋ฅผ ๋ณด์ธ์. ์ด๋ฒ ์๋ฃ ํ์ฅ์ ์ ์ฃผ์ฅ ๋ชจ๋ธ/Fit์0์ด๋ฉฐ Codex ์ ๊ฐ ํจ๊ณผ๋ ์์ง ์ ์ฆํ์ง ์์์ต๋๋ค.
๋ชฉํ๋ ์์ฃผ ์์ CPUยท๋ฉ๋ชจ๋ฆฌ ๋น์ฉ์ผ๋ก ์์ฃผ ํธ์ถํ๋ ์ฃผ์ฅยทํํธ ๋ชจ๋ธ์ ๋๋ค. โ์ด ์์ฒญ์ ๋์์ด ๋ ํ๋ณด๋ ์ด๊ฒ ๊ฐ๋คโ๋ ํํธ๋ฅผ ์ฃผ๊ณ , ์ต์ข ์ ํ์ ์ค์ ํ ์คํธยท๊ฒ์ยท๊ฒ์ฆ์ผ๋ก ๋ท๋ฐ์นจํฉ๋๋ค. ๋ฌธ์ฅ ์์ฑ ๋ฅ๋ ฅ๋ณด๋ค ํ๋ณด๋ฅผ ์ขํ ์ ์ฒด ์์ ๋์ ์ค์ด๋์ง๊ฐ ์ค์ํฉ๋๋ค.
| ๋จ์ | ํ์ฌ ๊ฒ์ฆยท๊ณต๊ฐ30ํ | ์ด์ HF23ํ |
|---|---|---|
| ์๋ก ๋ค๋ฅธ ์๋ฏธ ์์ฒญ | 30 | 23 |
| ํ๋ณด ๋ผ๋ฒจ | 88: ๊ธ์ 30ยท๋ถ์ 58 | 67: ๊ธ์ 23ยท๋ถ์ 44 |
| ๊ณ ์ ์ ๋ ฅ ๋ณํ | 146 | 113 |
| ์ ์ฒด ์๊ด์ธก | 434 | 335 |
| ์ ํํ ํ์ต ํ๋ณด์ ๊ด์ธก | 430 | 331 |
| ์ด๋ฒ ํ์ฅ์ ์ ํ์ตยท๋ชจ๋ธ ์ถ๋ก | 0 | 0 |
์ ๋ ฅ ๋ณํ์ด๋ ํ๋ณด ์คํ ํ์๋ฅผ ๋ ๋ฆฝ ์์ฒญ ์๋ก ๋ํ์ง ์์ต๋๋ค. 30ํ์ ๋ชจ๋ development_train, ํ๋ณด ๊ฐ์ค์น๋1์ ๋๋ค. ๊ธฐ์กด23ํ๊ณผ ๋ณ๋ ๊ฒ์ฆํ๋27ํ์ ๋ฐ์ดํธ ๊ทธ๋๋ก ์๋ถ๋ถ์ ๋จ๊ฒผ์ต๋๋ค. ์ถ์ฒ ๊ฐ์กฑ์ ๋ฌถ์ ๊ทธ๋ฃน76โ81์ ์ฌ์ฉํ๋ฉฐ retryablehttp ๊ฐ์กฑ์ ๋ค์ ์์ง์ ๋ณด๋ฅ ์ํ์ ๋๋ค. ์ ์์ฒ ์ผ๋ฐํ๋ ์์ง ๊ฒ์ฆํ์ง ์์์ต๋๋ค.
์ฌ์ฉ ์ค๋ช ์ ์ฝ๊ณ data/train.jsonl์ ํ ์ค์ฉ ์ฌ์ฉํ์ธ์. ํ์ผ์ 41,428๋ฐ์ดํธ, SHA-256์ 9cdfb758f03adc34a9fb5e00e3c1525921df26d0912f6b554e4ed4c890fd10a2์ ๋๋ค. ์์ฒญยทํ๋ณด ๋ฌธ์ฅ, ๋ผ๋ฒจยท๊ฐ์ค์น, ์ถ์ฒ ์ถ์ ์ ๋ณด๊ฐ ์์ต๋๋ค.
HF CLI๊ฐ ์๋ค๋ฉด ์๋์ฒ๋ผ ๊ณ ์ commit์ ๋ฐ์ดํฐ ํ ํ์ผ๋ง ๋ฐ์ ์ ์์ต๋๋ค. ํ์ต์ด๋ ๋ชจ๋ธ ๋ค์ด๋ก๋ ์์ด ์ฝ๊ธฐ๋ง ๊ฐ๋ฅํฉ๋๋ค. ์ ์ฒด ๊ฒ์ฆ ๋ช ๋ น์ ์ด ์ ์ฅ์ checkout์ ๋ฃจํธ์์ ์คํํ์ธ์.
hf download JooYoon/riidolaya-shortclaim-next60-development \
releases/next60-30-finite-v1/next60-development-thirty/data/train.jsonl \
--type dataset --revision 89c0c7c9ddc3135e37e88e9da5d51ac55dff0e1d \
--local-dir ./riidolaya-next60-dataGo reader๋ ์ต๋ ํ16KiBยทํ๋ณด8๊ฐ์ ๊ณ ์ ๋ฐฐ์ด๊ณผ ๋ถ๋ณ ๊ฐ์ ์ฌ์ฉํ๋ฉฐ lock์ ์ฐ์ง ์์ต๋๋ค. ์๋ ์ฝ๋์์ bytes์ github.com/teamswyg/laya-tools/pkg/shortclaimdata๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
example, err := shortclaimdata.LoadDevelopmentRow(bytes.NewReader(line))
if err != nil {
return err
}
input := example.Input()
supervision := example.Supervision()๋ชจ๋ธ ํน์ง์๋ ์์ฒญ๊ณผ ํ๋ณด ๋ฌธ์ฅ๋ง ์ฌ์ฉํฉ๋๋ค. IDยท์ถ์ฒยท๊ทธ๋ฃนยท๋ฆฌ๋น์ ยท๊ฒ์ฌ ๊ฒฐ๊ณผ๋ ์ถ์ ๋๋ ์ ๋ต ์ ๋ณด์ ๋๋ค. Reader ํธ์ถ์ ์ ์ยทํ์ตยท๋ชจ๋ธ ์ถ๋ก ์ ์คํํ์ง ์์ต๋๋ค. ๋ฐฐ์ด ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํ๋ค๋ ์ฌ์ค๋ง์ผ๋ก ์๋ ํฅ์์ ์ฃผ์ฅํ์ง ์์ต๋๋ค.
๋ค์ ๋ช ๋ น์ ์ ์ฅ๋ ์๋ฃ๋ก ๋ฐ์ดํฐ ์ฌ์์ฑยท์ค์ ํ๋ก์ ํธ Readerยทํ์ ๊ธฐ๋ก111๊ฐ๋ฅผ ๊ฒ์ฌํฉ๋๋ค. ๋ก์ปฌ๊ณผ PR121์ LinuxยทmacOS CI์์ ์ค์ ํต๊ณผํ์ต๋๋ค. ๊ธฐ์กด Laya native ๊ฒ์ฌ๋ ๋ณ๋๋ก ํต๊ณผํ์ผ๋ฉฐ ์ด ๋ช ๋ น ์์ฒด๋ ๋ชจ๋ธ์ด๋ ์๋ณธ ํจ์๋ฅผ ์คํํ์ง ์์ต๋๋ค.
bash scripts/verify-next60-thirty.sh30ํ์ ์์ฑํ๊ณ ์ค์ Reader์ 30ํธ์ถยท30๋ฐํยท30์ผ์น, ํธ์ถ ์ ํ 60๊ฐ ์ ์ฅ checkpoint๋ฅผ ํ์ธํ์ต๋๋ค. ์ ๋ ฅยทํ๋ณดยท๋ผ๋ฒจยท๊ฐ์ค์น์ ์ ํ๋ ๋ฐฐ์ด์ ๋น ์นธ๊น์ง ๋์กฐํฉ๋๋ค. ํ๋จ ๋ถ๊ฐ ์กฐ๊ฑด 8๊ฐ๋ฅผ ๋ณด์กดํฉ๋๋ค. ๋ฏธ์์ ๊ฑฐ์ง์ผ๋ก ๋ฐ๊พธ์ง ์๊ณ , ๋ถ์ ํ๋ณด์๋ ๋ณ๋์ ์๋ ค์ง ๋ฐ๋ก๊ฐ ์์ด์ผ ํฉ๋๋ค.
๋ง์ง๋ง ์ธ ์์ฒญ์ INI ์ ์ฒด ์ ๋ ฅ ๋ฐ์ดํธ ์์ฐ, ์ ํ๋ ํ์ผ ์ฝ๊ธฐ, ๋ฐฐํ์ ํ์ผ ์ฐ๊ธฐ์ ๋๋ค. ์ค์ Go ์๋ณธ์์ ์ ๋ ฅ14๊ฐรํ๋ณด3๊ฐ์ 42๊ด์ธก์ ์์งํ์ต๋๋ค. ์ธ๋ถ ์กฐ๊ฑด111๊ฐ๋ ์ฐธ89ยท๊ฑฐ์ง20ยทํ๋จ ๋ถ๊ฐ2์์ต๋๋ค. ์ฐธ๊ณ ํ๋ณด๋ ๊ด์ธก์ ๋ง์กฑํ๊ธฐ ๋๋ฌธ์ ์ฑํํ์ผ๋ฉฐ ๊ทธ ์ด๋ฆ ๋๋ฌธ์ ์ ๋ต์ ๋ถ์ฌํ์ง ์์์ต๋๋ค. ์ ์ฒด parser ์ต์ ยทํ์ผ์์คํ ๋์์ฑยท๋ชจ๋ ์ ๋ ฅ์ ๋ณด์ฅํ์ง ์์ต๋๋ค.
๊ด์ธก ์์ง ํ๋ก์ธ์ค์ OS ์ต๋ RSS๋ ์ฝ 17.4MiB, ์์ยท์์ค ํ์ธยท์ ์ฅ์ ํฌํจํ ์๊ฐ์ ์ฝ 2.52์ด์์ต๋๋ค. Laya ๋๋ ์ฃผ์ฅ ๋ชจ๋ธ์ ์ถ๋ก ๋ฉ๋ชจ๋ฆฌยทGPU ์คํยทCodex ์ ๊ฐ ์์น๊ฐ ์๋๋๋ค. ์๋ณธ์ ํ ๋ฒ ์คํํ๊ณ , ์ ์ฅ ๋น๊ต๊ธฐ์ ์ต์ด ์ค์ ํ์ ์ค๋ฅ๋ฅผ ๋ณด์กดํ ๋ค ์ ์ฅ ํ์ผ ์ฝ๊ธฐ๋ง ๋ค์ ์ํํ์ต๋๋ค.
๋ค์ ์์ฒ22๊ฐ ์ ์์ ์ ์ ๊ฒฉ0๊ฐ์ ๋๋ค. ๊ธฐ์กด ๊ธฐ๋ฅ์ ์ฌํฌ์ฅํ๊ฑฐ๋ ํ์ฌ ์ ๋ ฅ์ผ๋ก ์ฐจ์ด๋ฅผ ๊ตฌ๋ถ ๋ชปํ๋ ์ธ ์ ์์ ๋ณด๋ฅํฉ๋๋ค. Go-list ์์กด์ฑ ๋ชฉ๋ก ํ์ธ๊ณผ ๋ฌธ๊ตฌ ์ค๋ณต0์ ์คํยท์๋ฏธ ๋ ๋ฆฝ์ฑยทํ์ต ์๊ฒฉ์ ๋ณด์ฅํ์ง ์์ต๋๋ค.
ํ์ฌ ํญ์ ๋ ๋ฒ์งธ ํ๋ณด๋ฅผ ๊ณ ๋ฅด๋ฉด ์์ฒญ ๊ธฐ์ค 27/30=90%, ํญ์ ๋ถ์ ์ ๊ณ ๋ฅด๋ฉด ํ๋ณด ๋ผ๋ฒจ ๊ธฐ์ค **58/88โ65.9%**์ ๋๋ค. ๋ถ๋ชจ๊ฐ ๋ค๋ฅธ ๋จ์ ๊ธฐ์ค์ด๋ฉฐ ๋ชจ๋ธ ์ ํ๋๊ฐ ์๋๋๋ค. ์๋ฏธ ์ดํด ์์ด ๋์ ์ ์๊ฐ ๊ฐ๋ฅํด ํ๋ณด ์์นยท์ค๋ช ๋ฌธ์ฒดยท์ดํ ๋์กฐ๊ตฐ์ด ํ์ํฉ๋๋ค. ๊ธฐ์กด ์๋ฃ์ ์คํจ ๊ธฐ๋ก์ ๊ณ ์ณ ์ ์๋ฅผ ๋ง๋ค์ง ์์ต๋๋ค.
30๊ฐ๋ ์๋ฃ ์์ง checkpoint์ด๋ฉฐ ์๋ ํ์ต ์์ ์กฐ๊ฑด์ด ์๋๋๋ค. ์๋ก์ด ์ฝ๋ ๊ฐ์กฑ์ ์์กด์ฑยท๊ณต์ ๋ณด์กฐ ์ฝ๋ยท์๋ฏธ ์ค๋ณต์ ํ์ธํ๊ณ , ์ ์ฒด ๊ฐ์กฑ ๋จ์์ ํ์ตยท๊ฒ์ฆยท๋ณด์ ์ญํ ์ ๊ด์ธก ์ ์ ์ ํฉ๋๋ค. ์ฝ60๊ฐ checkpoint์์ ์๋ฃ ์ค๋น๋๋ฅผ ๋ค์ ํ์ธํฉ๋๋ค. ๊ธฐ์กด79๊ฐ์ ํฉ์น109๊ฐ๋ ํ์ฌ ๋จ์ ํฉ๊ณ์ด๋ฉฐ ๊ณ๋ณดยท์ค๋ณต ๊ฒํ ์ ์๋ ๋ ๋ฆฝ ํ์ต๋์ผ๋ก ์ฃผ์ฅํ์ง ์์ต๋๋ค.
ํ์ ๋ชจ๋ธ์ ๋จ์ ์์ ์ ํยท์ดํยท๊ท์น ๊ธฐ์ค๋ณด๋ค ๊ฒ์ฆ์ ํ์ํ ์ ์ฒด ์์ ๋์ ์ต์ 5% ์ค์ด๋์ง ํ๊ฐํฉ๋๋ค. ์ฃผ์ฅ ๋๋ฉ์ธ๋ณ ๋ณดํธ ์์ฒญ 2,400๊ฐ ๊ณํ์ ์ ์งํฉ๋๋ค. ๊ธฐ์กด Fit3ํยท๋ ผ๋ฆฌ ๋ชจ๋ธ3๊ฐ์ ์คํจ ๋ชจ๋ธ ๋นํ์ฑ์ ๊ทธ๋๋ก์ ๋๋ค. 3์ง ์ ์ฅ์ ๋ณ๋ ์คํ์ด๋ฉฐ ์ ์ฅ ํฌ๊ธฐ ๊ฐ์๋ง์ผ๋ก CPU ์๋ยทํจ์ฉ ๊ฐ์ ์ ์ธ์ ํ์ง ์์ต๋๋ค.
์ด์19์์ ์ค์ ๊ฒ์ยทCI ๊ฒฐ๊ณผ์ ์งํ์ ๋ณผ ์ ์์ต๋๋ค. ์์ฒด ๋ฌธ์ยท์์ ์์ค๋ Apache-2.0, ์์ฒ ์ ๋ฌธ ๊ณ ์ง๋ ํด๋น ๋ผ์ด์ ์ค๋ฅผ ์ ์งํฉ๋๋ค. ์๋ณธ ๋ณธ๋ฌธยท๋ชจ๋ธ ๋ณธ์ฒดยท์ฌ์ ์ ๋ ฅยท์ธ์ฆ์ ๋ณดยท์์ journal์ ๊ณต๊ฐ ์๋ฃ์ ์์ต๋๋ค. ์ฝ๋ ๋ผ์ด์ ์ค ํ์ธ์ด ๋ชจ๋ธ ๊ณ๋ณด ์ ์ฒด์ ํฌ๊ด์ ๊ถ๋ฆฌ ์น์ธ์ ๋ปํ์ง ์์ต๋๋ค.
์ฒซ ๋ ์์ฒญ์ ํ์ต ์๋ฃ ยท ์ฒซ ์๋ณธ ๊ด์ธก ยท English