Next60 Development KO - teamswyg/laya-tools GitHub Wiki

์ƒˆ ๊ฒฐ๊ณผ: ๋ชจ๋“  ํ›„๋ณด๋ฅผ ๋‚จ๊ธฐ๋Š” ๊ฐ€๋ฒผ์šด ๊ด€๊ณ„ ํžŒํŠธ

์‹ค์ œ JWT ์บ์‹œ ๋น„์šฉ ๋น„๊ต / Actual JWT cache costs: ํ•œ๊ตญ์–ด ยท English. 160์Œ ๋™๋“ฑ์„ฑยท48๊ฐœ ์šด์˜ ๊ธฐ๋ก ์™„๋ฃŒ. ๊ฐ™์€ ์š”์ฒญ 4๊ฐœยท3ํšŒ ์ค€๋น„ ์ƒํƒœ ๋ฐ˜๋ณต์˜ ํ•ฉ๊ณ„์—์„œ ๊ณ ์ • ์ˆœ์„œ๋Š” ์•ฝ 1.90๋ฐฐ ๋นจ๋ผ์กŒ๊ณ  ์ฒซ ํ›„๋ณด ์ผ์น˜ ์‹œ ์บ์‹œ๋Š” ์•ฝ 6.8% ๋А๋ ธ์Šต๋‹ˆ๋‹ค. / 160 paired outcomes match; 48 operations complete. Aggregate fixed-order warm work is about 1.90ร— faster; a matching predeclared-first candidate is about 6.8% slower with caching. ๋…๋ฆฝ ํ‰๊ฐ€ยท๋ชจ๋ธ ์ด๋“ยทํ† ํฐ ์ ˆ๊ฐ์˜ ์ฆ๊ฑฐ๋Š” ์•„๋‹™๋‹ˆ๋‹ค. / No independent evaluation, model benefit or token-savings evidence. PR152 ยท CI ยท Hub

์ตœ๊ทผ JWT ๊ฐœ๋ฐœ ๊ฒ€์ฆ / Latest JWT development validation: ํ•œ๊ตญ์–ด ยท English. ์‹ค์ œ ์›๋ณธ160ํšŒ,32์กฐํ•ฉ4T/28F/0U,OS ์ตœ๋Œ€RSS11.94MiB. ์•ˆ์ „ํ•œ ์บ์‹œ ์žฌ์‚ฌ์šฉ์˜ ์‹ค์ œ ๋น„์šฉ์€ ๋‹ค์Œ ๋ณ„๋„ ๋น„๊ต์ด๋ฉฐ ์ƒˆ ํ•™์Šตยท๋…๋ฆฝ ํ‰๊ฐ€ยทํ† ํฐ ์ ˆ๊ฐ์˜ ์ฆ๊ฑฐ๋Š” ์•„๋‹™๋‹ˆ๋‹ค. /160 actual original calls;32 combinations4T/28F/0U;11.94MiB peak RSS. Safe-cache costs are a separate next comparison; no new training/independent evaluation/token-savings evidence. PR151 ยท CI ยท Hugging Face

์š”์ฒญ๊ณผ ํ›„๋ณด ์„ค๋ช…์˜ ๋ฐฉํ–ฅยท๊ตฌ๊ฐ„ ๊ฒฝ๊ณ„ยท์ค‘๋‹จ ์กฐ๊ฑด์„ ์ž‘์€ Go ๋ฐฐ์—ด๋กœ ๋น„๊ตํ•ด ํ™•์ธ ์ˆœ์„œ๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ํ•œ๊ธ€ ์‚ฌ์šฉ๋ฒ• ยท ์‹คํ—˜ ์ „์ฒด. stdin JSON ํ•œ ๊ฐœ๋ฅผ ๋ฐ›์•„ ๊ด€๊ณ„๊ฐ’๊ณผ ํ›„๋ณด ์ˆœ์„œ๋ฅผ ์ถœ๋ ฅํ•˜๋Š” ๋ณ„๋„ riido-hintpreview์ž…๋‹ˆ๋‹ค. ๊ธฐ๋ณธ riidolaya์™€ Codex ์—ฐ๋™์€ ์„ ํƒ ์‚ฌํ•ญ์ด๋ฉฐ ๋ชจ๋ธ ๋‹ค์šด๋กœ๋“œ๋Š” ํ•„์š” ์—†์Šต๋‹ˆ๋‹ค.

์ด๋ฏธ ๋ณธ B-tree 12์š”์ฒญ์˜ ๋ชจ์˜ ํ™•์ธ ํšŸ์ˆ˜๋Š” 54โ†’26ํšŒ์ž…๋‹ˆ๋‹ค. ์ •๋‹ตยท์˜ค๋‹ต ํ˜ผํ•ฉ 9์š”์ฒญ์€ Top1 9/9, ์ •๋‹ต๋งŒ ์žˆ๋Š” 1์š”์ฒญ๊ณผ ์ •๋‹ต ์—†๋Š” 2์š”์ฒญ์€ ๋”ฐ๋กœ ๊ธฐ๋กํ–ˆ์Šต๋‹ˆ๋‹ค. ์ €์žฅ ๊ด€์ธก ๋น„์šฉ ํ•ฉ์€ 187,673โ†’85,793ns์ง€๋งŒ ์‹ค์ œ ์žฌ์ •๋ ฌ ์‹คํ–‰์˜ ์†๋„ ๊ฐœ์„ ์€ ์•„๋‹™๋‹ˆ๋‹ค. ์ƒˆ ํ•™์Šตยท๊ฐ€์ค‘์น˜ยท์›๋ณธ API ์‹คํ–‰ 0ํšŒ์ด๋ฉฐ ๋…๋ฆฝ 2,400๊ฐœ ํ‰๊ฐ€์™€ Codex ์ ˆ๊ฐ์€ ๋ฏธ์ž…์ฆ์ž…๋‹ˆ๋‹ค.

์ง€์› ๋ฌธ์žฅ ํ•˜๋‚˜๋ฅผ 8๋ฒˆ ๋ฐ˜๋ณตํ•œ ์ข์€ CPU ์ธก์ •์—์„œ ๊ด€๊ณ„ ํŒŒ์‹ฑ ์ค‘์•™๊ฐ’์€ 2,895nsยทGo ํ• ๋‹น 0B/0ํšŒ์˜€์Šต๋‹ˆ๋‹ค. ์ „์ฒด CLIยทJSONยท์ •๋ ฌยท๊ฒ€์ฆยทRSSยทGPU ์ˆ˜์น˜๋Š” ์•„๋‹™๋‹ˆ๋‹ค. ๊ธฐํ˜ธ ๋ณด์กด ํ•ด์‹œ๋Š” ๊ธฐ์กด๋ณด๋‹ค ๋А๋ ธ์Šต๋‹ˆ๋‹ค. ์ง€์› ๋ฌธ๋ฒ• ๋ฐ–์€ ๋ฏธ์ธ์‹/๋ถ€๋ถ„ ์ธ์‹์„ ๋ณด์กดํ•˜๋ฉฐ, ์ธ์‹๋ฅ ์€ ์ •๋‹ต์ด๋‚˜ ํ‰๊ฐ€ ์ž๊ฒฉ์„ ๋œปํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์ €์žฅ์†Œ ๋ฃจํŠธ์—์„œ bash scripts/verify-text-representations.sh๋กœ ์ €์žฅ ๊ฒฐ๊ณผ๋ฅผ ์žฌํ˜„ํ•ฉ๋‹ˆ๋‹ค. PR150์€ ํ•„์ˆ˜ CI ๋„ค ์ž‘์—…์„ ํ†ต๊ณผํ–ˆ๊ณ  ๋ด‡์ด ๋™์ผ ํŠธ๋ฆฌ๋กœ ๋ณ‘ํ•ฉํ–ˆ์Šต๋‹ˆ๋‹ค. ์–‘ OS์˜ ์ „์ฒด 12์‘๋‹ต์ด ์ผ์น˜ํ•ฉ๋‹ˆ๋‹ค. HF ์ถ”๊ฐ€ ๊ณต๊ฐœ 14ํŒŒ์ผ์„ ์™„์ „ ์ฝ๊ธฐ ๋Œ€์กฐํ–ˆ๊ณ  ๊ธฐ์กด 820ํŒŒ์ผยท10ํƒœ๊ทธ๋ฅผ ๋ณด์กดํ–ˆ์Šต๋‹ˆ๋‹ค. ์ž์ฒด ์†Œ์Šค๋Š” Apache-2.0, ์›์ฒœ ๊ณ ์ง€๋Š” ๊ณ ์ • B-tree ์ž๋ฃŒ๋ฅผ ๋”ฐ๋ฆ…๋‹ˆ๋‹ค.

๋‹ค์Œ์€ ๋‹ค๋ฅธ ์†Œ์Šค ๊ฐ€์กฑ์˜ JWT ์ •์ฑ… ๊ฒ€์ฆ์„ ์ค€๋น„ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ˜๋ณต ์„œ๋ช… ๊ฒ€์ฆ์„ ์ค„์ด๋Š” ๋‹จ์ˆœ ์บ์‹œ์™€ ๋จผ์ € ๋น„๊ตํ•˜๋ฉฐ, ๊ธฐ์กด ๊ตฌ๊ฐ„ ํ‘œํ˜„์˜ ์ „์ด๋‚˜ ์ƒˆ ๋ชจ๋ธ ํšจ๊ณผ๋Š” ์•„์ง ๊ด€์ธกํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.


์ด์ „ ๊ธฐ๋ก:

์ƒˆ ์ž๋ฃŒ: ์ž‘์€ ํžŒํŠธ๊ฐ€ ์ค„์ผ ์ˆ˜ ์žˆ๋Š” ์ž‘์—…๋ถ€ํ„ฐ ์ฐพ๊ธฐ

B-tree ์‚ฌ์šฉ๋ฒ•ยท๊ฒฐ๊ณผ์—์„œ ๋‹ค์Œ ํŠœ๋‹์šฉ 12๊ฐœ ์š”์ฒญยท96๊ฐœ ์œ ํ•œ ๋ผ๋ฒจ์„ ๋ณ„๋„๋กœ ์ค€๋น„ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฒฝ๊ณ„๊ฐ’์„ ํฌํ•จํ• ์ง€, ์–ด๋–ค ๋ฐฉํ–ฅ์œผ๋กœ ์ˆœํšŒํ• ์ง€, ๋‘ ๋ฒˆ ํ™•์ธํ•œ ๋’ค ๋ฉˆ์ถœ์ง€ ๊ฐ™์€ ์š”๊ตฌ๋ฅผ ์›๋ณธ Go API ์—ฌ๋Ÿ ๊ฐœ์™€ ๋น„๊ตํ–ˆ์Šต๋‹ˆ๋‹ค. 34๊ฐœ ์ž…๋ ฅ์—์„œ ํ›„๋ณด 272ํšŒ๋ฅผ ์‹ค์ œ ์‹คํ–‰ํ–ˆ๊ณ , ์ฒซ ๊ฒฐ๊ณผ ์ „์ฒด๋ฅผ ๋ณ„๋„ ๊ณ„์‚ฐ์œผ๋กœ ์žฌ๊ฒ€์ฆํ–ˆ์Šต๋‹ˆ๋‹ค.

๋‹จ์ˆœ ๊ฒ€์ƒ‰์€ ์ •๋‹ต๊นŒ์ง€ 54~59ํšŒ ํ™•์ธํ–ˆ์œผ๋ฉฐ, ์ •๋‹ต์„ ๋ฏธ๋ฆฌ ์•„๋Š” ๋‚™๊ด€์ ์ธ ์ตœ์†Œ์น˜๋Š” 26ํšŒ์˜€์Šต๋‹ˆ๋‹ค. ๊ฐœ์„  ์—ฌ์ง€๋ฅผ ๋ฐœ๊ฒฌํ•œ ๊ฒƒ์ด๋ฉฐ ์ƒˆ ๋ชจ๋ธ์˜ ์„ฑ๊ณต๋ฅ ์ด๋‚˜ ์‹ค์ œ ์†๋„ ๊ฐœ์„ ์€ ์•„๋‹™๋‹ˆ๋‹ค. ์ด ์ž‘์€ ๊ฒ€์ฆ์—์„œ๋Š” ์ถ”๊ฐ€ ํžŒํŠธ ๊ณ„์‚ฐ์— ์“ธ ์‹œ๊ฐ„๋„ ์š”์ฒญ๋‹น ์•ฝ 8ยตs๋กœ ์ข์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ ์‹คํ—˜์€ ํ›„๋ณด ํ™•์ธ ํšŸ์ˆ˜์™€ ์ค€๋น„ยท์ถ”๋ก ยทfallback ๋น„์šฉ์„ ๋ชจ๋‘ ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค.

์ด ์ž๋ฃŒ๋Š” ์—ฐ๊ฒฐ๋œ ์†Œ์Šค ๊ฐ€์กฑ ํ•˜๋‚˜์˜ ๊ฐœ๋ฐœ ํ•™์Šต ์ž๋ฃŒ์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด 37ํ–‰๊ณผ ์—ญํ• ์€ ์œ ์ง€ํ•˜๋ฉฐ, ํ•ฉ์ณ์„œ 49๊ฐœ ๋…๋ฆฝ Golden ์‚ฌ๋ก€๋กœ ์„ธ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ •๋‹ต ์—†์Œ ๋‘ ์š”์ฒญ์˜ ๋ฌธ์ฒด๊ฐ€ ๋‹ค๋ฅธ ํŽธํ–ฅ๋„ ๊ณต๊ฐœํ•˜๊ณ  ๋‹ค์Œ ์ˆ˜์ง‘์—์„œ ํ‘œํ˜„๊ณผ truth๋ฅผ ๋…๋ฆฝ์ ์œผ๋กœ ๋‹ค์–‘ํ™”ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์Œ ํ‘œํ˜„ ๋น„๊ต ๊ณ„ํš์— ๊ธฐ์กด FP32 ํŠน์ง• ๋ชจ๋ธ, ์ž‘์€ ๊ด€๊ณ„ ํ‘œํ˜„, ํ›„์† INT8/3์ง„ ๋ชจ๋ธ์„ ๋ณ„๋„ ๋‹จ๊ณ„๋กœ ๋‘์—ˆ์Šต๋‹ˆ๋‹ค. ์ƒˆ ํ•™์Šตยท๊ฐ€์ค‘์น˜ยทLaya ์ธ์ฝ”๋”ยทGPU ์‹คํ–‰์€ 0์ด๋ฉฐ, ๋…๋ฆฝ 2,400๊ฐœ ํ‰๊ฐ€์™€ ์‹ค์ œ ์—์ด์ „ํŠธ ์ ˆ๊ฐ์€ ์•„์ง ๋‹ฌ์„ฑํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.

์ €์žฅ์†Œ ๋ฃจํŠธ์—์„œ bash scripts/verify-btree-utility.sh๋ฅผ ์‹คํ–‰ํ•˜๋ฉด ์ €์žฅ ๊ฒฐ๊ณผยทํ•ฉ์„ฑ ๋Œ€์กฐยท์‹ค์ œ Go ๋ฐ์ดํ„ฐ Reader๋ฅผ ๊ฒ€์‚ฌํ•ฉ๋‹ˆ๋‹ค. replay๋ฅผ ๋ถ™์ด๋ฉด ์›๋ณธ API๋„ CPU์—์„œ ๋‹ค์‹œ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. Codex ์—ฐ๋™์ด๋‚˜ ๋ชจ๋ธ ๋‹ค์šด๋กœ๋“œ๋Š” ํ•„์š” ์—†์Šต๋‹ˆ๋‹ค. upstream Apache-2.0 ๊ณ ์ • ์†Œ์Šค์™€ ์ „์ฒด ๊ณ ์ง€๋ฅผ ๋ณด์กดํ–ˆ๊ณ , ๋ฏธ๋ž˜ ๋ชจ๋ธ์˜ ๋ชจ๋“  ๊ถŒ๋ฆฌ๋ฅผ ํฌ๊ด„ ์ธ์ฆํ•œ๋‹ค๋Š” ๋œป์€ ์•„๋‹™๋‹ˆ๋‹ค.

ํ•„์ˆ˜ CI ๋„ค ์ž‘์—…์ด ํ†ต๊ณผํ–ˆ๊ณ  ๋ด‡์ด ๊ฐ™์€ ์†Œ์Šค ํŠธ๋ฆฌ๋กœ ๋ณ‘ํ•ฉํ–ˆ์Šต๋‹ˆ๋‹ค. HF ์ƒˆ40ํŒŒ์ผ์€ ๊ณ ์ • ์ปค๋ฐ‹์—์„œ ์ „์ฒด ๋ฐ”์ดํŠธ๋ฅผ ๋‹ค์‹œ ๋Œ€์กฐํ–ˆ์œผ๋ฉฐ, ์ด์ „780ํŒŒ์ผ์˜ Git/LFS ์ง€๋ฌธยทํฌ๊ธฐ์™€ ๊ธฐ์กด10ํƒœ๊ทธ๋ฅผ ์œ ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค. Linux/macOS์˜272๊ฐœ Got๋Š” ๊ฐ๊ฐ ์›๋ž˜ ๊ธฐ๋ก๊ณผ ์ •ํ™•ํžˆ ๊ฐ™๊ณ  ์ˆœ์œ„ ๋ณ€ํ™”๊ฐ€ ์—†์—ˆ์Šต๋‹ˆ๋‹ค. ์„œ๋กœ ๋‹ค๋ฅธ ์‹œ๊ฐ„ ํ‘œ๋ณธ์€ ๊ฐ๊ฐ ๋ณด์กดํ–ˆ์Šต๋‹ˆ๋‹ค.

PR149 ยท CI ยท Hugging Face 40 public files


์ด์ „ ๋‹จ๊ณ„ ๊ธฐ๋ก:

์ฃผ์žฅยทํžŒํŠธ ๋ชจ๋ธ์šฉ ๊ฐœ๋ฐœ ์ž๋ฃŒ: ๊ฒ€์ฆํ•œ 35๊ฐœ

๋ชฉํ‘œ๋Š” ์•„์ฃผ ์ ์€ ์ž์›์œผ๋กœ ์ฝ”๋“œ ํ›„๋ณด์— ๋Œ€ํ•œ ํžŒํŠธ๋ฅผ ์ž์ฃผ ์ œ์•ˆํ•˜๋Š” ์ž‘์€ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด โ€œ์ด ํ›„๋ณด๊ฐ€ ์˜ค๋ฅ˜ ๋’ค์—๋„ ๋‹ค์Œ ์ค„์„ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋‹คโ€๋Š” ์ฃผ์žฅ์„ ๋จผ์ € ์ œ์‹œํ•˜๊ณ , ์‹ค์ œ ๊ฒ€์‚ฌ๋กœ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. ํžŒํŠธ๋งŒ์œผ๋กœ ์‹คํ–‰์„ ์Šน์ธํ•˜๊ฑฐ๋‚˜ ์ •๋‹ต์„ ํ™•์ •ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

ํ˜„์žฌ ๊ณต๊ฐœ ์ž๋ฃŒ๋Š” **์š”์ฒญ 35๊ฐœยท๋ผ๋ฒจ 102๊ฐœ(๊ธ์ • 35ยท๋ถ€์ • 67)**์ž…๋‹ˆ๋‹ค. ์ž…๋ ฅ 171๊ฐœ, ์ „์ฒด ํ›„๋ณด ๊ด€์ธก 509๊ฐœ, ์„ ํƒ ํ›„๋ณด ๊ด€์ธก 500๊ฐœ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. ์ด์ „ 33ํ–‰์€ ๋ฐ”์ดํŠธ ๊ทธ๋Œ€๋กœ ์œ ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค. Go ์ƒ์„ฑยทReader ๊ธฐ๋ก๊ณผ ์‚ฌ์šฉ๋ฒ•ยท๊ทผ๊ฑฐ๋ฅผ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ƒˆ๋กœ ์ถ”๊ฐ€ํ•œ ๋‘ ์š”์ฒญ์—์„œ๋Š” JSON ํ•œ ์ค„์˜ ์™„์ „ํ•œ ๊ฐ’ ์ฒ˜๋ฆฌ์™€ ์ž˜๋ชป๋œ UTF-8์˜ append ์ „ ๊ฑฐ๋ถ€๋ฅผ ๊ฒ€์‚ฌํ–ˆ์Šต๋‹ˆ๋‹ค. ์ถฉ์กฑยท๋ฐ˜๋ก€ยท๋ฏธ์ƒ์„ ๊ตฌ๋ถ„ํ•˜๋ฉฐ, ํ™•์ธํ•  ์ˆ˜ ์—†๋Š” ์˜ค๋ฅ˜ ํ†ต๋กœ๋Š” ๋ฏธ์ƒ์œผ๋กœ ๋‚จ๊น๋‹ˆ๋‹ค. ์•Œ๋ ค์ง„ ๋ฐ˜๋ก€์™€ ๋ฏธ์ƒ ์กฐ๊ฑด์ด ํ•จ๊ป˜ ์žˆ์œผ๋ฉด ๋ฐ˜๋ก€์˜ ๊ทผ๊ฑฐ๋กœ๋งŒ ๋ถ€์ • ๋ผ๋ฒจ์„ ๋ถ™์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด API์˜ ์›๋ž˜ ๊ณ„์•ฝ๊ณผ ์ƒˆ ์š”๊ตฌ์˜ ์ฐจ์ด๋ฅผ ๋น„๊ตํ•˜๋ฏ€๋กœ ๋ถˆ์ผ์น˜ ์ž์ฒด๋ฅผ ์›๋ณธ ๋ฒ„๊ทธ๋กœ ๋‹จ์ •ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์‚ฌ๋žŒ๊ณผ ์—์ด์ „ํŠธ๊ฐ€ ์ฝ๋Š” ๋ฐฉ๋ฒ•

์•„๋ž˜ ๋ช…๋ น์€ ๋ฐ์ดํ„ฐ ํ•œ ํŒŒ์ผ๋งŒ ๋ฐ›์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ ๋‹ค์šด๋กœ๋“œยท์ถ”๋ก ยทํ•™์Šต ์—†์ด ์ฝ์„ ์ˆ˜ ์žˆ๊ณ  Codex ์—ฐ๋™๋„ ์„ ํƒ ์‚ฌํ•ญ์ž…๋‹ˆ๋‹ค. ํ•œ ์ค„์€ ์š”์ฒญ ํ•˜๋‚˜, candidates๋Š” ๋น„๊ตํ•  ์ฝ”๋“œ ์„ค๋ช…, label์€ ์œ ํ•œ ๊ด€์ธก์— ๊ทผ๊ฑฐํ•œ ๊ธ์ •ยท๋ถ€์ •์ž…๋‹ˆ๋‹ค. ์ƒ์„ฑ ๊ทผ๊ฑฐ์˜ ๋ฏธ์ƒ ๊ฐ’๊ณผ ์ œ์™ธ ํ›„๋ณด๋Š” ๋ณ„๋„ qualification/evidence์— ๋‚จ์•„ ์žˆ์Šต๋‹ˆ๋‹ค.

hf download JooYoon/riidolaya-shortclaim-next60-development \
  releases/next60-35-finite-v1/next60-development-thirtyfive/data/train.jsonl \
  --type dataset --revision 7621cd34d298b4e2dfb59def7a9adaf6e45fef52 \
  --local-dir ./riidolaya-next60-data

์ €์žฅ์†Œ๋ฅผ ๋ฐ›์€ ๋’ค ์•„๋ž˜ ๊ฒ€์‚ฌ๋ฅผ ์‹คํ–‰ํ•˜๋ฉด ์ €์žฅ ๊ด€์ธก ์ „์ฒด, ๋ฐ์ดํ„ฐ ๋ฐ”์ดํŠธ, ์‹ค์ œ ํ”„๋กœ์ ํŠธ Reader์˜ 35๊ฐœ ๊ฐ’์ด ์žฌํ˜„๋ฉ๋‹ˆ๋‹ค. ์›๋ณธ ๊ด€์ฐฐ๊ธฐยท๋ชจ๋ธยท์ƒˆ ํ•™์Šต์€ ์‹คํ–‰ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

bash scripts/verify-next60-thirtyfive.sh

์‹ค์ œ ๊ฒŒ์‹œ์™€ ๊ฒ€์‚ฌ ๊ฒฐ๊ณผ

PR126์˜ ํ•„์ˆ˜ CI ๋„ค ์ž‘์—…์ด ํ†ต๊ณผํ–ˆ๊ณ  ๋ด‡์ด ๋™์ผ ์†Œ์Šค ํŠธ๋ฆฌ๋ฅผ ๋ณ‘ํ•ฉํ–ˆ์Šต๋‹ˆ๋‹ค. ์ƒˆ ์ €์žฅ ๋น„๊ต 33ํ–‰ยท309์กฐ๊ฑด๊ณผ ์ „์ฒด ๋ฐ์ดํ„ฐ 35ํ–‰์„ LinuxยทmacOS์—์„œ ๋Œ€์กฐํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด Laya native ์ถ”๋ก  ๊ฒ€์‚ฌ๋„ ๋ณ„๋„๋กœ ํ†ต๊ณผํ–ˆ์Šต๋‹ˆ๋‹ค. GPU ์‹คํ–‰์€ ๋ฏธํ™•์ธ์ž…๋‹ˆ๋‹ค.

Hugging Face ๊ณ ์ • ๋ฒ„์ „๊ณผ next60-35-finite-v1 ํƒœ๊ทธ๋ฅผ ๊ฒŒ์‹œํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ชฉ๋ก์€ ์ž์ฒด ํŒŒ์ผ 720๊ฐœยท๊ด€๋ฆฌ ์†์„ฑ ํฌํ•จ 721๊ฐœ์ž…๋‹ˆ๋‹ค. ์ƒˆ ํŒŒ์ผยท๋ณ€๊ฒฝ ํŒŒ์ผ 84๊ฐœ์™€ ๊ด€๋ฆฌ ์†์„ฑ ํŒŒ์ผ 1๊ฐœ, ์ด 888,897๋ฐ”์ดํŠธ๋ฅผ ๊ณ ์ • ์ปค๋ฐ‹์—์„œ ์ง์ ‘ ๋Œ€์กฐํ–ˆ๊ณ  ๋ชจ๋‘ ์ผ์น˜ํ–ˆ์Šต๋‹ˆ๋‹ค. ์˜› 639๊ฐœ ๊ฒฝ๋กœ์™€ ํƒœ๊ทธ 8๊ฐœ๋ฅผ ์œ ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์˜› ํŒŒ์ผ ์ „์ฒด๋ฅผ ์ด๋ฒˆ ์ปค๋ฐ‹์—์„œ ๋‹ค์‹œ ๋‹ค์šด๋กœ๋“œํ–ˆ๋‹ค๋Š” ๋œป์€ ์•„๋‹™๋‹ˆ๋‹ค.

Viewer๋„ 35ํ–‰์˜ ๋ชจ๋“  ํ•„๋“œยท์ˆœ์„œ ์ผ์น˜, partial=false, ์ž˜๋ฆฐ ์…€ 0์„ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค. ์‘๋‹ต ์ปค๋ฐ‹๊ณผ ์ตœ์ƒ์œ„ ์ž˜๋ฆผ ํ‘œ์‹œ๋Š” ์ œ๊ณต๋˜์ง€ ์•Š์•„ ๋ฏธํ™•์ธ์œผ๋กœ ๋‚จ๊น๋‹ˆ๋‹ค. Viewer๋Š” ํ˜„์žฌ main์„ ๋”ฐ๋ฅด๋ฏ€๋กœ ๊ณ ์ • ์ปค๋ฐ‹ ํŒŒ์ผ ์ฆ๋ช…๊ณผ ๊ตฌ๋ถ„ํ•ฉ๋‹ˆ๋‹ค.

๋‹ค์Œ ํ•™์Šต์„ ํŒ๋‹จํ•˜๋Š” ๊ธฐ์ค€

35๊ฐœ๋Š” ๊ฐœ๋ฐœ ์ˆ˜์ง‘ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค. ๋‘˜์งธ ํ›„๋ณด๋งŒ ๊ณจ๋ผ๋„ 28/35๊ฐ€ ๋งž์œผ๋ฏ€๋กœ ๋ชจ๋ธ์ด ์ด๋ณด๋‹ค ์˜๋ฏธ ์žˆ๋Š” ๋„์›€์„ ์ฃผ๋Š”์ง€๋ถ€ํ„ฐ ํ™•์ธํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ƒˆ Golden 20โ†’60 ๊ณ„ํš์€ ๊ธฐ์กด 35ํ–‰๊ณผ ๋ณ„๋„์˜ ์ง‘๋‹จ์ด๋ฉฐ, 5ยท8ํ›„๋ณด์™€ ์ •๋‹ต 0ยท1ยท์—ฌ๋Ÿฌ ๊ฐœยท๋ฏธ์ƒยท์ •์ฑ… ๋ชจํ˜ธ ์‚ฌ๋ก€๋ฅผ ๊ณ ๋ฅด๊ฒŒ ์ˆ˜์ง‘ํ•ฉ๋‹ˆ๋‹ค. ๊ฐ™์€ ์›๋ณธ ๊ฐ€์กฑยท๊ณต์œ  ํ•จ์ˆ˜ยท๋ฒˆ์—ญยท๋ณ€ํ˜•์€ ๋‹ค๋ฅธ ํ‰๊ฐ€ ์—ญํ• ๋กœ ๋‚˜๋ˆ„์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๋ฏธ์ƒ ์ „์šฉ ํ›„๋ณด์˜ ์ •๋‹ตยท๊ฐ€์ค‘์น˜๋Š” null๋กœ ๋ณด์กดํ•˜๊ณ  ๋ชจํ˜ธํ•œ ๋ถ€๋ชจ ์š”์ฒญ์€ ํ•™์Šต์—์„œ ์ œ์™ธํ•˜๋Š” Reader ์ดˆ์•ˆ์„ ๊ฒ€ํ†  ์ค‘์ž…๋‹ˆ๋‹ค. ํ˜„์žฌ ํ•™์Šต ๋ณ€ํ™˜์— ๊ทธ๋Œ€๋กœ ์—ฐ๊ฒฐํ•˜๋ฉด ๋ฏธ์ƒ์„ ์Œ์„ฑ์œผ๋กœ ์˜คํ•ดํ•  ์ˆ˜ ์žˆ์–ด, ๋ณ€ํ™˜ยท์†์‹คยทํ‰๊ฐ€๊นŒ์ง€ ๋งˆ์Šคํฌ๋ฅผ ํ™•์ธํ•œ ๋’ค ์—ฐ๊ฒฐํ•ฉ๋‹ˆ๋‹ค. ์ƒˆ ํ•™์Šตยท๋ชจ๋ธ ์ถ”๋ก ์€ 0ํšŒ์ž…๋‹ˆ๋‹ค. ๋„๋ฉ”์ธ๋ณ„ ๋ณดํ˜ธ ํ‰๊ฐ€ 2,400๊ฐœ์™€ ์‹ค์ œ ์ „์ฒด ๊ฒ€์ฆ ์ž‘์—…๋Ÿ‰ 5% ๊ฐ์†Œ๋Š” ์•„์ง ๋‹ฌ์„ฑํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. 3์ง„ ์ €์žฅ ํฌ๊ธฐ์™€ CPU ์ถ”๋ก  ํšจ์šฉ๋„ ๋ณ„๋„๋กœ ์ฆ๋ช…ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

์ž์ฒด ์ฝ”๋“œยท์„ค๋ช…ยท์ž…๋ ฅ์€ Apache-2.0์ด๊ณ  ๊ธฐ์กด upstream ์ „๋ฌธ ๊ณ ์ง€๋ฅผ ๋ณด์กดํ•ฉ๋‹ˆ๋‹ค. ์›๋ณธ ์ฝ”๋“œ ๋ณธ๋ฌธยท๋ชจ๋ธ ๋ณธ์ฒดยท๋ฐ”์ด๋„ˆ๋ฆฌยท์‚ฌ์  ์ž…๋ ฅยท์ธ์ฆ์ •๋ณดยท์›์‹œ journal์€ ๊ณต๊ฐœํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ ๊ฒŒ์‹œ ๊ถŒ๋ฆฌ๋Š” ๋ณ„๋„ ๊ฒ€ํ† ์ž…๋‹ˆ๋‹ค. ์ด์Šˆ19 ยท English.

์ด์ „ 33๊ฐœ ์‹œ์  ์•ˆ๋‚ด ์›๋ฌธ / Previous 33-request guide, verbatim

์ฃผ์žฅยทํžŒํŠธ ๋ชจ๋ธ์šฉ ์œ ํ•œ ๊ฐœ๋ฐœ ์ž๋ฃŒ: ๊ฒ€์ฆํ•œ 33๊ฐœ

๋ชฉํ‘œ๋Š” ์š”์ฒญ์— ๋„์›€์ด ๋  ์ฝ”๋“œ ํ›„๋ณด๋ฅผ ์•„์ฃผ ์ ์€ ๋น„์šฉ์œผ๋กœ ์ž์ฃผ ์ œ์•ˆํ•˜๋Š” ์ž‘์€ ์ฃผ์žฅยทํžŒํŠธ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ํžŒํŠธ ๋’ค์—๋Š” ์‹ค์ œ ๊ฒ€์‚ฌ์™€ ๋ฐ˜๋ก€๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์ด ์ž๋ฃŒ๋Š” ๊ทธ ํ•™์Šต ๊ทผ๊ฑฐ๋ฅผ ์Œ“๋Š” ๊ฐœ๋ฐœ ์ž๋ฃŒ์ž…๋‹ˆ๋‹ค. ์ƒˆ ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ์ด๋‚˜ Codex ๋น„์šฉ ์ ˆ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๋‹ด์€ ์ž๋ฃŒ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค.

33๊ฐœ ์š”์ฒญยท96๊ฐœ ๋ผ๋ฒจ์„ ์‹ค์ œ Go๋กœ ์ƒ์„ฑํ•˜๊ณ  ํ”„๋กœ์ ํŠธ Reader์˜33ํšŒ ํ˜ธ์ถœยท๋ฐ˜ํ™˜ยท๊ฐ’ ์ผ์น˜๋ฅผ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค. ์ƒ์„ฑ ๊ธฐ๋ก๊ณผ Reader ๊ธฐ๋ก์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์กด30ํ–‰์„ ๋ฐ”์ดํŠธ ๊ทธ๋Œ€๋กœ ๋ณด์กดํ–ˆ์Šต๋‹ˆ๋‹ค. ํŒŒ์ผ์€45,390๋ฐ”์ดํŠธ, SHA-256์€7b28ae6d119884c902b32ba781b3514f1d3774ca3a60cea16fe4ce11a3aad919์ž…๋‹ˆ๋‹ค. PR124์˜ LinuxยทmacOS ์žฌํ˜„ ๊ฒ€์‚ฌ์™€ ํ•„์ˆ˜ CI ๋„ค ์ž‘์—…์ด ํ†ต๊ณผํ–ˆ๊ณ  ๋ด‡์ด ๋ณ‘ํ•ฉํ–ˆ์Šต๋‹ˆ๋‹ค. ์•„๋ž˜์˜ ์‹ค์ œ ๊ฒŒ์‹œ ๊ฒฐ๊ณผ๋Š” ๊ทธ ์ดํ›„ ๊ฒ€์ฆํ–ˆ์Šต๋‹ˆ๋‹ค.

๋‹จ์œ„ ์ƒˆ ๋ฐฐ์น˜ ๊ฒ€์ฆํ•œ ์ „์ฒด33๊ฐœ
์˜๋ฏธ ์š”์ฒญ 3 33
์„ ํƒํ•œ ํ›„๋ณด ๋ผ๋ฒจ 8: ๊ธ์ •3ยท๋ถ€์ •5 96: ๊ธ์ •33ยท๋ถ€์ •63
๊ณ ์ • ์ž…๋ ฅ 14 160
์ „์ฒด ์›๊ด€์ธก 42 476
์„ ํƒํ•œ ํ›„๋ณด์˜ ๊ด€์ธก 37 467
์ด ์ž๋ฃŒ ํ™•์žฅ์˜ ์ƒˆ Fitยท๋ชจ๋ธ ์ถ”๋ก  0 0

42๋ฒˆ ์‹คํ–‰์€ 3๊ฐœ ์š”์ฒญ์— ๋Œ€ํ•œ ์ž…๋ ฅ ๋ณ€ํ˜•๊ณผ ํ›„๋ณด ๋น„๊ต์ž…๋‹ˆ๋‹ค. ๋…๋ฆฝ ์ž‘์—… 42๊ฐœ๋กœ ์„ธ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์‹ค์ œ ๊ธฐ์กด30ํ–‰์—๋Š” ํ›„๋ณด88๊ฐœ๊ฐ€ ์žˆ์œผ๋ฉฐ, ์ด๋ฅผ ์ž„์˜๋กœ90๊ฐœ๋กœ ์ฑ„์šฐ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ƒˆ ํ›„๋ณด9๊ฐœ ์ค‘ ๋ฏธ์ƒ ์ „์šฉ1๊ฐœ๋ฅผ ์ œ์™ธํ•˜์—ฌ ๋ผ๋ฒจ8๊ฐœ๋ฅผ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

์ƒˆ๋กœ ๊ฒ€์‚ฌํ•œ ์„ธ ์ž‘์—…

์š”์ฒญ ๊ด€์ธก์œผ๋กœ ๋“œ๋Ÿฌ๋‚œ ๊ตฌ๋ถ„ ์œ ํ•œ ์ ํ•ฉ ํ›„๋ณด ์œ„์น˜
์ง€์ • ํญ์˜ ๋น„ํŠธ ๋ณด์ˆ˜ ์š”์ฒญ ํญ64์ธ๋ฐ ์ €์žฅ ๊ธธ์ด65์ธ ์ž…๋ ฅ์—์„œ ๊ฒฐ๊ณผ ๊ธธ์ด๊นŒ์ง€64์—ฌ์•ผ ํ•จ ์ฒซ์งธ
JSON ์ •์ˆ˜์˜ ๊ฒ€์‚ฌ๋œ ์ถ”์ถœ ํฐ ์ •์ˆ˜๋ฅผ ์ •ํ™•ํ•œ ๋ฌธ์ž์—ด๋กœ ๋‹ค๋ฃจ๊ณ  ์†Œ์ˆ˜ยท๋ฒ”์œ„ ์ดˆ๊ณผ๋ฅผ ์˜ค๋ฅ˜๋กœ ๊ตฌ๋ณ„ํ•ด์•ผ ํ•จ ๋‘˜์งธ
์—„๊ฒฉํ•œ ์ด์ง„ ๋น„ํŠธ์…‹ ์ฝ๊ธฐ ์ž”์—ฌ ๋ฐ”์ดํŠธยท์งง์€ ์ž…๋ ฅยท๊ผฌ๋ฆฌ ๋น„ํŠธ๋ฅผ ๊ฑฐ๋ถ€ํ•˜๊ณ  ์ˆ˜์‹  ๊ฐ์ฒด๋ฅผ ๋ณด์กดํ•ด์•ผ ํ•จ ์…‹์งธ

๊ธฐ์กด API๋Š” ์›๋ž˜ ๊ณ„์•ฝ์— ๋”ฐ๋ผ ๋™์ž‘ํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ๋Š” ์ƒˆ๋กœ ์š”์ฒญํ•œ ๊ณ„์•ฝ์„ ๋งŒ์กฑํ•˜๋Š”์ง€ ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์กด ๋™์ž‘์ด ์ถ”๊ฐ€ ์š”๊ตฌ๋ฅผ ๋งŒ์กฑํ•˜์ง€ ์•Š๋Š”๋‹ค๊ณ  ํ•ด์„œ upstream ๋ฒ„๊ทธ๋ผ๊ณ  ๋‹จ์ •ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ €์žฅ์†Œยท์ถœ์ฒ˜๋Š” ์ถ”์  ์ •๋ณด์ด๋ฉฐ ๋ชจ๋ธ ํŠน์ง•์—๋Š” ์š”์ฒญ๊ณผ ํ›„๋ณด ๋ฌธ์žฅ๋งŒ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

์ฐธยท๊ฑฐ์ง“ยท๋ฏธ์ƒ์„ ๊ตฌ๋ถ„ํ•ฉ๋‹ˆ๋‹ค. 42๊ฐœ ํ›„๋ณด-์ž…๋ ฅ ๊ฒฐ๊ณผ๋Š” ์ถฉ์กฑ26ยท๋ฐ˜๋ก€11ยท๋ฏธ์ƒ5, ์„ธ๋ถ€ ์กฐ๊ฑด318๊ฐœ๋Š” ์ถฉ์กฑ272ยท๋ฐ˜๋ก€31ยท๋ฏธ์ƒ15์ž…๋‹ˆ๋‹ค. GJSON์˜ ๊ธฐ์กด Int์—๋Š” ์š”๊ตฌํ•œ ์˜ค๋ฅ˜ ๋ฐ˜ํ™˜ ํ†ต๋กœ๊ฐ€ ์—†์–ด 5๊ฐœ ๊ฒฐ๊ณผ๋ฅผ ๋ฏธ์ƒ์œผ๋กœ ๋ณด์กดํ•˜๊ณ  ๊ทธ ํ›„๋ณด์— ๋ผ๋ฒจ์„ ๋ถ™์ด์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ด์ง„ ์ฝ๊ธฐ ๋‘ ๊ฒฐ๊ณผ์—๋Š” ๊ฐ์ฒด ๋ณ€๊ฒฝ์ด๋ผ๋Š” ๋ช…ํ™•ํ•œ ๋ฐ˜๋ก€์™€ ์˜ค๋ฅ˜ ์ข…๋ฅ˜ ๋ฏธ์ƒ์ด ํ•จ๊ป˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ˜๋ก€๊ฐ€ ๋ถ€์ • ๋ผ๋ฒจ์˜ ๊ทผ๊ฑฐ์ด๋ฉฐ, ๋ฏธ์ƒ์„ ๊ฑฐ์ง“์œผ๋กœ ๋ฐ”๊พธ์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค.

์ƒˆ ๋ฐฐ์น˜์˜ ๋ฏธ์ƒ15๊ฐœ ์ค‘ ์„ ํƒํ•œ ํ›„๋ณด์—๋Š”2๊ฐœ, ์ œ์™ธํ•œ ํ›„๋ณด์—๋Š”13๊ฐœ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด30ํ–‰ ์ƒ์„ฑ ๊ธฐ๋ก์˜ 23ํ–‰ ์ดํ›„ ๋ฏธ์ƒ8๊ฐœ์™€ ํ•ฉ์นœ ๋ฒ”์œ„๋Š” ๊ฐ๊ฐ10ยท23๊ฐœ์ž…๋‹ˆ๋‹ค. ๋” ์˜ค๋ž˜๋œ ์•ž๋ถ€๋ถ„์˜ ๋ฏธ์ƒ ๊ธฐ๋ก์€ ๊ธฐ์กด ์ž๋ฃŒ์— ๊ทธ๋Œ€๋กœ ๋‚จ์•„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ์ˆ˜์น˜๋ฅผ ์ „์ฒด ์—ฐ๊ตฌ ์ด๋ ฅ์˜ ๋ฏธ์ƒ ์ด๊ณ„๋กœ ์ฃผ์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์‚ฌ๋žŒ๊ณผ ์—์ด์ „ํŠธ์˜ ์‚ฌ์šฉ๋ฒ•

๋ฐ์ดํ„ฐ ํŒŒ์ผ์€ data/train.jsonl์ด๋ฉฐ ํ•œ ์ค„์ด ์š”์ฒญ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด30ํ–‰์€ ์•ž๋ถ€๋ถ„์— ๋ฐ”์ดํŠธ ๊ทธ๋Œ€๋กœ ์œ ์ง€ํ•˜๊ณ  ์ƒˆ3ํ–‰์„ ๋’ค์— ๋ถ™์ž…๋‹ˆ๋‹ค. ๊ฐ ํ›„๋ณด์—๋Š” ๋ช…ํ™•ํ•œ ๋ผ๋ฒจ๊ณผ ๊ฐ€์ค‘์น˜1์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ œ์™ธํ•œ ํ›„๋ณด์™€ ๋ฏธ์ƒ ์กฐ๊ฑด์€ qualification/ROOT-QUALIFICATION.v3.json ๋ฐ evidence/SAVED-COMPARISON.v1.json์— ๋ณด์กดํ•ฉ๋‹ˆ๋‹ค.

์ €์žฅ์†Œ ๋ฃจํŠธ์—์„œ ๋‹ค์Œ ๊ฒ€์‚ฌ๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๋„๋ก Go ์†Œ์Šค์™€ ๊ฒ€์ฆ ๋ช…๋ น์„ ํ•จ๊ป˜ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

bash scripts/verify-next60-thirtythree.sh

๊ฒ€์‚ฌ ๋ฒ”์œ„๋Š” ์ €์žฅ๋œ ์กฐ๊ฑด ๋น„๊ต, ์ด์ „ ๋ฐ์ดํ„ฐ ๋ณด์กด, ๋ฐ์ดํ„ฐ ์ƒ์„ฑ, ์‹ค์ œ LoadDevelopmentRow ๊ฐ’ ๋Œ€์กฐ์™€ ์ž์ฒด ์˜ค๋ฅ˜ ์ œ์–ด์ž…๋‹ˆ๋‹ค. ์›๋ณธ ํ›„๋ณดยทLayaยท์ฃผ์žฅ ๋ชจ๋ธ์€ ์‹คํ–‰ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. source/saved-comparer์˜ ๊ณต๊ฐœ ์žฌํ˜„ ๊ฒ€์‚ฌ๋Š” ์›๋ž˜ ๊ฒฐ๊ณผ์™€ ๋ชจ๋“ 42ํ–‰ยท318์กฐ๊ฑด์„ ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค. ๊ณต๊ฐœ์šฉ ๊ฒฝ๋กœ ์—†๋Š” ์„ค๋ช…์œผ๋กœ ๋ฐ”๊พผ ๋„ค opaque ๊ธฐ๋ก์˜ ์ง€๋ฌธ๋งŒ ๋น„๊ต์—์„œ ์ œ์™ธํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์  ์‹คํ–‰ ์Šน์ธ ์›๋ณธ์„ ์žฌ์ธ์ฆํ–ˆ๋‹ค๋Š” ์˜๋ฏธ๋Š” ์•„๋‹™๋‹ˆ๋‹ค.

Go Reader ์‚ฌ์šฉ ์˜ˆ์‹œ๋Š” ๊ธฐ์กด ์ž๋ฃŒ30 ์„ค๋ช…์„ ์ฐธ๊ณ ํ•˜์„ธ์š”. ์ตœ๋Œ€16KiB ํ–‰๊ณผ8๊ฐœ ํ›„๋ณด์˜ ๊ณ ์ • ๋ฐฐ์—ด์„ ์‚ฌ์šฉํ•˜๋ฉฐ lock์ด ์—†์Šต๋‹ˆ๋‹ค. ์ƒˆ ์›์ฒœ์€ ๋น„ํŠธ์…‹ ๊ทธ๋ฃน82, GJSONยทMatchยทPretty ๊ทธ๋ฃน83์œผ๋กœ ๋ฌถ์–ด development_train์— ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ์ €์žฅ ํ˜•์‹์˜ ์›์ฒœ ์ด๋ฆ„์€ bits-and-blooms-bitset๊ณผ tidwall-gjson์ด๋ฉฐ ์‹ค์ œ ์ €์žฅ์†Œ ์ด๋ฆ„์€ ๋ณ„๋„ ์ถ”์  ํ•„๋“œ์— ๋ณด์กดํ•ฉ๋‹ˆ๋‹ค.

์ธก์ •๊ณผ ๋‹ค์Œ ํ•™์Šต

์›๊ด€์ธก์€ ํ•œ ๋ฒˆ๋งŒ ์‹คํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ˆ˜์ง‘ ํ”„๋กœ์„ธ์Šค์˜ OS ์ตœ๋Œ€ RSS๋Š” 17,612,800๋ฐ”์ดํŠธ(์•ฝ16.8MiB), ์ „์ฒด ์‹œ๊ฐ„์€ 8.052์ดˆ์˜€์Šต๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์—๋Š”1,739๋ฒˆ์˜ ํŒŒ์ผยท๋””๋ ‰ํ„ฐ๋ฆฌ ์ €์žฅ ๋ฐ ACK๊ฐ€ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ ์ถ”๋ก  ๋ฉ”๋ชจ๋ฆฌยทGPU ์‹คํ–‰ยท์†๋„ ๊ฐœ์„ ์„ ๋œปํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ €์žฅ ๋น„๊ต๊ธฐ ์‹คํ–‰ ํŒŒ์ผ์€ ๋””๋ฒ„๊ทธ ์ •๋ณด๋ฅผ ์ œ์™ธํ•ด 2,850,722๋ฐ”์ดํŠธ์˜€์œผ๋ฉฐ, ์ด๊ฒƒ๋„ ๋ชจ๋ธ ๋ณธ์ฒด ํฌ๊ธฐ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. Go pprof์™€ OS RSS๋Š” ์ธก์ • ๋ฒ”์œ„๊ฐ€ ๋‹ค๋ฆ…๋‹ˆ๋‹ค.

์ƒˆ ์„ธ ์š”์ฒญ์€ ํ›„๋ณด ์œ„์น˜๋ฅผ ๋‚˜๋ˆด์ง€๋งŒ ์ „์ฒด ์ž๋ฃŒ์—์„œ ํ•ญ์ƒ ๋‘˜์งธ๋ฅผ ๊ณ ๋ฅด๋Š” ๊ธฐ์ค€์€ ์—ฌ์ „ํžˆ28/33์ž…๋‹ˆ๋‹ค. ํ•™์Šต ์ „ ์œ„์น˜ยท๋ฌธ์ฒดยท์–ดํœ˜ ๊ธฐ์ค€๊ณผ ์˜๋ฏธ ์ค‘๋ณต์„ ๊ฒ€์‚ฌํ•ฉ๋‹ˆ๋‹ค. 33๊ฐœ๋Š” ์ˆ˜์ง‘ ๋‹จ๊ณ„์ด๋ฉฐ ์ž๋™ Fit ์‹œ์ž‘ ์กฐ๊ฑด์ด ์•„๋‹™๋‹ˆ๋‹ค. ์•ฝ60๊ฐœ์—์„œ ์ถœ์ฒ˜ ๊ฐ€์กฑ ๋‹จ์œ„์˜ ์ค€๋น„๋„๋ฅผ ๋‹ค์‹œ ํŒ๋‹จํ•˜๊ณ , ๋„๋ฉ”์ธ๋ณ„ ๋ณดํ˜ธ ์š”์ฒญ2,400๊ฐœ ๊ณ„ํš๊ณผ ๊ฒ€์ฆ ์ž‘์—…๋Ÿ‰5% ๊ฐ์†Œ ๋ชฉํ‘œ๋ฅผ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์กด Fit3ํšŒยท๋…ผ๋ฆฌ ๋ชจ๋ธ3๊ฐœยท์‹คํŒจ ๋ชจ๋ธ ๋น„ํ™œ์„ฑ์€ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. 3์ง„ ์ €์žฅ ํฌ๊ธฐ์™€ ์‹ค์ œ CPU ํšจ์šฉ์€ ๋ณ„๋„๋กœ ๊ฒ€์ฆํ•ฉ๋‹ˆ๋‹ค.

๋‹ค์Œ ์ˆ˜์ง‘ ์ค€๋น„๋Š” ๋ฌผ๋ฆฌ JSON Lines์˜ ์™„์ „ํ•œ ๊ฐ’ยท์˜ค๋ฅ˜ ์ „ callback prefix์™€ ์ž˜๋ชป๋œ UTF-8 append ๊ฑฐ๋ถ€์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด ForEachLine์€ ์ด๋ฏธ callback์˜ ์ค‘์ง€๋ฅผ ์กด์ค‘ํ•˜๋ฏ€๋กœ ์ด๋ฅผ ๊ฒฐํ•จ์œผ๋กœ ์žฌํฌ์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ƒˆ ์ž…๋ ฅ์˜ ๊ธฐ๋Œ€๊ฐ’์„ ์‹ค์ œ ๊ฒฐ๊ณผ ์ „์— ๊ณ ์ •ํ•ฉ๋‹ˆ๋‹ค.

๊ณต๊ฐœ ๋ฒ”์œ„์™€ ๊ธฐ๋ก

์ž์ฒด ์ฝ”๋“œยท์„ค๋ช…ยท์ž…๋ ฅ์€ Apache-2.0์ž…๋‹ˆ๋‹ค. ์„ ํƒํ•œ upstream API์˜ BSD/MIT ์ „๋ฌธ ๊ณ ์ง€๋Š” evidence/notices์— ๊ฐ๊ฐ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ๊ณต๊ฐœ ์ž๋ฃŒ์—๋Š” ์›๋ณธ ์ฝ”๋“œ ๋ณธ๋ฌธยท๋ชจ๋ธ ๋ณธ์ฒดยท์‹คํ–‰ ๋ฐ”์ด๋„ˆ๋ฆฌยท์›์‹œ journalยท์‚ฌ์  ์ž‘์—… ์ž…๋ ฅยท์ธ์ฆ์ •๋ณด๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ์›๋ณธ source/go.mod/๊ณ ์ง€์˜ ์ง€๋ฌธ๋งŒ ์ถ”์ ํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ ๊ฒŒ์‹œ ๊ถŒ๋ฆฌ๋Š” ๋ณ„๋„ ํŒ๋‹จ์ž…๋‹ˆ๋‹ค.

์ดˆ์•ˆ์˜ ๋ฏธ์ƒ ๋ฒ”์œ„ ์˜ค๋ฅ˜ยท์›์ฒœ ์ด๋ฆ„ ์ €์žฅ ํ˜•์‹ ์ˆ˜์ •ยท์ตœ์ดˆ ๋น„๊ต๊ธฐ ๋นŒ๋“œ์˜ ํฌ๊ธฐ ์ œํ•œ ์‹คํŒจ์™€ ํ›„์† ํ™•์ธ์€ history/CORRECTIONS.v1.json์— ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค. ์‹คํŒจ ํŒŒ์ผ๊ณผ ์ด์ „ ์ดˆ์•ˆ์€ ๋กœ์ปฌ์— ๋ณด์กดํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  ๋ผ๋ฒจ์€ ๊ณ ์ • ์ž…๋ ฅ์— ๋Œ€ํ•œ ์œ ํ•œ ๊ทผ๊ฑฐ์ด๋ฉฐ ์ƒˆ๋กœ์šด ์ž…๋ ฅ์˜ ์ผ๋ฐ˜ ์ •๋‹ต์„ ๋ณด์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์ด์Šˆ19 ยท ์ด์ „ HF30 ๊ณ ์ • ๋ฒ„์ „ ยท English

์‹ค์ œ ๊ฒŒ์‹œ์™€ ๊ฐ„๋‹จํ•œ ๋‹ค์šด๋กœ๋“œ

HF33 ๊ณ ์ • ๋ฒ„์ „์— ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ์ƒˆ๋กœ ์ถ”๊ฐ€ยท๋ณ€๊ฒฝํ•œ 82๊ฐœ ํŒŒ์ผ 842,356๋ฐ”์ดํŠธ์™€ ๊ด€๋ฆฌ ์†์„ฑ ํŒŒ์ผ์„ ๊ณ ์ • ์ปค๋ฐ‹์—์„œ ๋‹ค์‹œ ๋ฐ›์•„ ๋Œ€์กฐํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ๋ชฉ๋ก์€ ์†Œ์œ 638๊ฐœยท๊ด€๋ฆฌ ์†์„ฑ์„ ํฌํ•จ639๊ฐœ์ด๋ฉฐ ์ด์ „ ํŒŒ์ผ ๊ฒฝ๋กœ์™€ ํƒœ๊ทธ7๊ฐœ๋ฅผ ๋ณด์กดํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ „558ํŒŒ์ผ ์ „์ฒด ๊ฒ€์ฆ์€ HF30์—์„œ ์ˆ˜ํ–‰ํ•œ ๊ธฐ๋ก์ž…๋‹ˆ๋‹ค. ์ด๋ฒˆ ์ปค๋ฐ‹์—์„œ ์˜› ํŒŒ์ผ ์ „์ฒด๋ฅผ ๋‹ค์‹œ ๋ฐ›์•˜๋‹ค๋Š” ์˜๋ฏธ๋Š” ์•„๋‹™๋‹ˆ๋‹ค.

Viewer๋Š” ์ฒซ ์š”์ฒญ์—์„œ ์„œ๋ฒ„ ์ค€๋น„ ์ง€์—ฐ500์„ ๋ฐ˜ํ™˜ํ–ˆ๊ณ , ๋‘ ๋ฒˆ์งธ ์š”์ฒญ์—์„œ 33ํ–‰์˜ ๋ชจ๋“  ํ•„๋“œ์™€ ์ˆœ์„œ ์ผ์น˜ยทpartial=falseยท์ž˜๋ฆฐ ์…€0์„ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค. ์‘๋‹ต ์ปค๋ฐ‹๊ณผ ์ตœ์ƒ์œ„ ์ž˜๋ฆผ ํ‘œ์‹œ๋Š” ์ œ๊ณต๋˜์ง€ ์•Š์•„ ๋ฏธํ™•์ธ์œผ๋กœ ๋‚จ๊น๋‹ˆ๋‹ค. Viewer๋Š” ํ˜„์žฌ main์„ ๋”ฐ๋ฅด๋ฉฐ ๊ณ ์ • ์ปค๋ฐ‹ ํŒŒ์ผ ์ฆ๋ช…๊ณผ ๊ตฌ๋ถ„ํ•ฉ๋‹ˆ๋‹ค.

์•„๋ž˜๋Š” ๋ฐ์ดํ„ฐ ํ•œ ํŒŒ์ผ๋งŒ ๋‹ค์šด๋กœ๋“œํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ์ด๋‚˜ ํ•™์Šต ์‹คํ–‰ ์—†์ด ์‚ฌ๋žŒ๊ณผ ์—์ด์ „ํŠธ๊ฐ€ ์ฝ์–ด ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

hf download JooYoon/riidolaya-shortclaim-next60-development \
  releases/next60-33-finite-v1/next60-development-thirtythree/data/train.jsonl \
  --type dataset --revision 2a1c2224e89f60eef9e381f98c0117206f60e0d2 \
  --local-dir ./riidolaya-next60-data

Go Reader ์˜ˆ์‹œ์ž…๋‹ˆ๋‹ค. bytes์™€ github.com/teamswyg/laya-tools/pkg/shortclaimdata๋ฅผ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค.

example, err := shortclaimdata.LoadDevelopmentRow(bytes.NewReader(line))
if err != nil {
    return err
}
input := example.Input()
supervision := example.Supervision()

์ž…๋ ฅยท์ •๋‹ตยท์ถ”์  ์ •๋ณด๋Š” ๊ตฌ๋ถ„๋ฉ๋‹ˆ๋‹ค. Reader๋Š” ์ ์ˆ˜๋‚˜ ํ•™์Šต์„ ์‹คํ–‰ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ ์ž…๋ ฅ ๋ธŒ๋ฆฌ์ง€๋Š” 1ยท7ยท33ยท60๊ฐœ ํ•ฉ์„ฑ ์ž๋ฃŒ์™€ ๋“ฌ์„ฑํ•œ ๊ทธ๋ฃน ๋ฒˆํ˜ธ, ์ž˜๋ชป๋œ ๊ณ„ํšยท์ง€๋ฌธยทํ–‰ ์—ฐ๊ฒฐ์„ ๊ฒ€์‚ฌํ•˜๋Š” Go ํ…Œ์ŠคํŠธ8๊ฐœ๋ฅผ ํ†ต๊ณผํ–ˆ์Šต๋‹ˆ๋‹ค. ์‹ค์ œ ์ƒˆ ์ž๋ฃŒ๋ฅผ ํ•™์Šต์— ๋„˜๊ธฐ๊ฑฐ๋‚˜ Fit์„ ์‹คํ–‰ํ•œ ๊ฒฐ๊ณผ๋Š” ์•„๋‹™๋‹ˆ๋‹ค. ํ›„๋ณด ์ˆœ์„œ๋ฅผ ๋ชจ๋‘ ๋ฐ”๊พธ๋Š” ํŽธํ–ฅ ๊ฐ์‚ฌ๋„ ์ค€๋น„ ์ค‘์ž…๋‹ˆ๋‹ค.

์ด์ „ HF30 ์•ˆ๋‚ด ์›๋ฌธ โ€” ์•„๋ž˜ โ€œํ˜„์žฌโ€์™€ ์ˆ˜์น˜๋Š” ๋‹น์‹œ ์ƒํƒœ์ž…๋‹ˆ๋‹ค

์ž‘์€ ์ฃผ์žฅยทํžŒํŠธ ๋ชจ๋ธ์˜ ๊ฐœ๋ฐœ ์ž๋ฃŒ

30๊ฐœ ์˜๋ฏธ ์š”์ฒญยท88๊ฐœ ํ›„๋ณด ๋ผ๋ฒจ์„ ์‹ค์ œ ๊ฒ€์ฆํ•˜๊ณ  HF์— ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. 30ํ–‰ ์ž๋ฃŒ์™€ ์„ค๋ช… ๋ฐ HF30 ๊ณ ์ • ๋ฒ„์ „์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์†Œ์œ 558ํŒŒ์ผ๊ณผ ํ‘œ30ํ–‰์˜ ๋ชจ๋“  ํ•„๋“œยท์ˆœ์„œ๋ฅผ ๋Œ€์กฐํ–ˆ๊ณ  ์ด์ „ ํƒœ๊ทธ๋ฅผ ๋ณด์กดํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฒŒ์‹œยท์‹ค์ œ CI ๊ทผ๊ฑฐ๋ฅผ ๋ณด์„ธ์š”. ์ด๋ฒˆ ์ž๋ฃŒ ํ™•์žฅ์˜ ์ƒˆ ์ฃผ์žฅ ๋ชจ๋ธ/Fit์€0์ด๋ฉฐ Codex ์ ˆ๊ฐ ํšจ๊ณผ๋Š” ์•„์ง ์ž…์ฆํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.

๋ชฉํ‘œ๋Š” ์•„์ฃผ ์ž‘์€ CPUยท๋ฉ”๋ชจ๋ฆฌ ๋น„์šฉ์œผ๋กœ ์ž์ฃผ ํ˜ธ์ถœํ•˜๋Š” ์ฃผ์žฅยทํžŒํŠธ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. โ€œ์ด ์š”์ฒญ์— ๋„์›€์ด ๋  ํ›„๋ณด๋Š” ์ด๊ฒƒ ๊ฐ™๋‹คโ€๋Š” ํžŒํŠธ๋ฅผ ์ฃผ๊ณ , ์ตœ์ข… ์„ ํƒ์€ ์‹ค์ œ ํ…Œ์ŠคํŠธยท๊ฒ€์ƒ‰ยท๊ฒ€์ฆ์œผ๋กœ ๋’ท๋ฐ›์นจํ•ฉ๋‹ˆ๋‹ค. ๋ฌธ์žฅ ์ƒ์„ฑ ๋Šฅ๋ ฅ๋ณด๋‹ค ํ›„๋ณด๋ฅผ ์ขํ˜€ ์ „์ฒด ์ž‘์—…๋Ÿ‰์„ ์ค„์ด๋Š”์ง€๊ฐ€ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

๋‹จ์œ„ ํ˜„์žฌ ๊ฒ€์ฆยท๊ณต๊ฐœ30ํ–‰ ์ด์ „ HF23ํ–‰
์„œ๋กœ ๋‹ค๋ฅธ ์˜๋ฏธ ์š”์ฒญ 30 23
ํ›„๋ณด ๋ผ๋ฒจ 88: ๊ธ์ •30ยท๋ถ€์ •58 67: ๊ธ์ •23ยท๋ถ€์ •44
๊ณ ์ • ์ž…๋ ฅ ๋ณ€ํ˜• 146 113
์ „์ฒด ์›๊ด€์ธก 434 335
์„ ํƒํ•œ ํ•™์Šต ํ›„๋ณด์˜ ๊ด€์ธก 430 331
์ด๋ฒˆ ํ™•์žฅ์˜ ์ƒˆ ํ•™์Šตยท๋ชจ๋ธ ์ถ”๋ก  0 0

์ž…๋ ฅ ๋ณ€ํ˜•์ด๋‚˜ ํ›„๋ณด ์‹คํ–‰ ํšŸ์ˆ˜๋ฅผ ๋…๋ฆฝ ์š”์ฒญ ์ˆ˜๋กœ ๋”ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. 30ํ–‰์€ ๋ชจ๋‘ development_train, ํ›„๋ณด ๊ฐ€์ค‘์น˜๋Š”1์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด23ํ–‰๊ณผ ๋ณ„๋„ ๊ฒ€์ฆํ–ˆ๋˜27ํ–‰์€ ๋ฐ”์ดํŠธ ๊ทธ๋Œ€๋กœ ์•ž๋ถ€๋ถ„์— ๋‚จ๊ฒผ์Šต๋‹ˆ๋‹ค. ์ถœ์ฒ˜ ๊ฐ€์กฑ์„ ๋ฌถ์€ ๊ทธ๋ฃน76โ€“81์„ ์‚ฌ์šฉํ•˜๋ฉฐ retryablehttp ๊ฐ€์กฑ์˜ ๋‹ค์Œ ์ˆ˜์ง‘์€ ๋ณด๋ฅ˜ ์ƒํƒœ์ž…๋‹ˆ๋‹ค. ์ƒˆ ์›์ฒœ ์ผ๋ฐ˜ํ™”๋Š” ์•„์ง ๊ฒ€์ฆํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.

์‚ฌ๋žŒ๊ณผ ์—์ด์ „ํŠธ๊ฐ€ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•

์‚ฌ์šฉ ์„ค๋ช…์„ ์ฝ๊ณ  data/train.jsonl์„ ํ•œ ์ค„์”ฉ ์‚ฌ์šฉํ•˜์„ธ์š”. ํŒŒ์ผ์€ 41,428๋ฐ”์ดํŠธ, SHA-256์€ 9cdfb758f03adc34a9fb5e00e3c1525921df26d0912f6b554e4ed4c890fd10a2์ž…๋‹ˆ๋‹ค. ์š”์ฒญยทํ›„๋ณด ๋ฌธ์žฅ, ๋ผ๋ฒจยท๊ฐ€์ค‘์น˜, ์ถœ์ฒ˜ ์ถ”์  ์ •๋ณด๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

HF CLI๊ฐ€ ์žˆ๋‹ค๋ฉด ์•„๋ž˜์ฒ˜๋Ÿผ ๊ณ ์ • commit์˜ ๋ฐ์ดํ„ฐ ํ•œ ํŒŒ์ผ๋งŒ ๋ฐ›์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•™์Šต์ด๋‚˜ ๋ชจ๋ธ ๋‹ค์šด๋กœ๋“œ ์—†์ด ์ฝ๊ธฐ๋งŒ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. ์ „์ฒด ๊ฒ€์ฆ ๋ช…๋ น์€ ์ด ์ €์žฅ์†Œ checkout์˜ ๋ฃจํŠธ์—์„œ ์‹คํ–‰ํ•˜์„ธ์š”.

hf download JooYoon/riidolaya-shortclaim-next60-development \
  releases/next60-30-finite-v1/next60-development-thirty/data/train.jsonl \
  --type dataset --revision 89c0c7c9ddc3135e37e88e9da5d51ac55dff0e1d \
  --local-dir ./riidolaya-next60-data

Go reader๋Š” ์ตœ๋Œ€ ํ–‰16KiBยทํ›„๋ณด8๊ฐœ์˜ ๊ณ ์ • ๋ฐฐ์—ด๊ณผ ๋ถˆ๋ณ€ ๊ฐ’์„ ์‚ฌ์šฉํ•˜๋ฉฐ lock์„ ์“ฐ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์•„๋ž˜ ์ฝ”๋“œ์—์„œ bytes์™€ github.com/teamswyg/laya-tools/pkg/shortclaimdata๋ฅผ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค.

example, err := shortclaimdata.LoadDevelopmentRow(bytes.NewReader(line))
if err != nil {
    return err
}
input := example.Input()
supervision := example.Supervision()

๋ชจ๋ธ ํŠน์ง•์—๋Š” ์š”์ฒญ๊ณผ ํ›„๋ณด ๋ฌธ์žฅ๋งŒ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. IDยท์ถœ์ฒ˜ยท๊ทธ๋ฃนยท๋ฆฌ๋น„์ „ยท๊ฒ€์‚ฌ ๊ฒฐ๊ณผ๋Š” ์ถ”์  ๋˜๋Š” ์ •๋‹ต ์ •๋ณด์ž…๋‹ˆ๋‹ค. Reader ํ˜ธ์ถœ์€ ์ ์ˆ˜ยทํ•™์Šตยท๋ชจ๋ธ ์ถ”๋ก ์„ ์‹คํ–‰ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฐฐ์—ด ๊ตฌ์กฐ๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค๋Š” ์‚ฌ์‹ค๋งŒ์œผ๋กœ ์†๋„ ํ–ฅ์ƒ์„ ์ฃผ์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ๋ช…๋ น์€ ์ €์žฅ๋œ ์ž๋ฃŒ๋กœ ๋ฐ์ดํ„ฐ ์žฌ์ƒ์„ฑยท์‹ค์ œ ํ”„๋กœ์ ํŠธ ReaderยทํŒ์ • ๊ธฐ๋ก111๊ฐœ๋ฅผ ๊ฒ€์‚ฌํ•ฉ๋‹ˆ๋‹ค. ๋กœ์ปฌ๊ณผ PR121์˜ LinuxยทmacOS CI์—์„œ ์‹ค์ œ ํ†ต๊ณผํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด Laya native ๊ฒ€์‚ฌ๋„ ๋ณ„๋„๋กœ ํ†ต๊ณผํ–ˆ์œผ๋ฉฐ ์ด ๋ช…๋ น ์ž์ฒด๋Š” ๋ชจ๋ธ์ด๋‚˜ ์›๋ณธ ํ•จ์ˆ˜๋ฅผ ์‹คํ–‰ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

bash scripts/verify-next60-thirty.sh

์‹ค์ œ๋กœ ํ™•์ธํ•œ ๋ฒ”์œ„

30ํ–‰์„ ์ƒ์„ฑํ•˜๊ณ  ์‹ค์ œ Reader์˜ 30ํ˜ธ์ถœยท30๋ฐ˜ํ™˜ยท30์ผ์น˜, ํ˜ธ์ถœ ์ „ํ›„ 60๊ฐœ ์ €์žฅ checkpoint๋ฅผ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค. ์ž…๋ ฅยทํ›„๋ณดยท๋ผ๋ฒจยท๊ฐ€์ค‘์น˜์™€ ์ œํ•œ๋œ ๋ฐฐ์—ด์˜ ๋นˆ ์นธ๊นŒ์ง€ ๋Œ€์กฐํ•ฉ๋‹ˆ๋‹ค. ํŒ๋‹จ ๋ถˆ๊ฐ€ ์กฐ๊ฑด 8๊ฐœ๋ฅผ ๋ณด์กดํ•ฉ๋‹ˆ๋‹ค. ๋ฏธ์ƒ์„ ๊ฑฐ์ง“์œผ๋กœ ๋ฐ”๊พธ์ง€ ์•Š๊ณ , ๋ถ€์ • ํ›„๋ณด์—๋Š” ๋ณ„๋„์˜ ์•Œ๋ ค์ง„ ๋ฐ˜๋ก€๊ฐ€ ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

๋งˆ์ง€๋ง‰ ์„ธ ์š”์ฒญ์€ INI ์ „์ฒด ์ž…๋ ฅ ๋ฐ”์ดํŠธ ์˜ˆ์‚ฐ, ์ œํ•œ๋œ ํŒŒ์ผ ์ฝ๊ธฐ, ๋ฐฐํƒ€์  ํŒŒ์ผ ์“ฐ๊ธฐ์ž…๋‹ˆ๋‹ค. ์‹ค์ œ Go ์›๋ณธ์—์„œ ์ž…๋ ฅ14๊ฐœร—ํ›„๋ณด3๊ฐœ์˜ 42๊ด€์ธก์„ ์ˆ˜์ง‘ํ–ˆ์Šต๋‹ˆ๋‹ค. ์„ธ๋ถ€ ์กฐ๊ฑด111๊ฐœ๋Š” ์ฐธ89ยท๊ฑฐ์ง“20ยทํŒ๋‹จ ๋ถˆ๊ฐ€2์˜€์Šต๋‹ˆ๋‹ค. ์ฐธ๊ณ  ํ›„๋ณด๋„ ๊ด€์ธก์„ ๋งŒ์กฑํ–ˆ๊ธฐ ๋•Œ๋ฌธ์— ์ฑ„ํƒํ–ˆ์œผ๋ฉฐ ๊ทธ ์ด๋ฆ„ ๋•Œ๋ฌธ์— ์ •๋‹ต์„ ๋ถ€์—ฌํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ์ „์ฒด parser ์˜ต์…˜ยทํŒŒ์ผ์‹œ์Šคํ…œ ๋™์‹œ์„ฑยท๋ชจ๋“  ์ž…๋ ฅ์„ ๋ณด์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๊ด€์ธก ์ˆ˜์ง‘ ํ”„๋กœ์„ธ์Šค์˜ OS ์ตœ๋Œ€ RSS๋Š” ์•ฝ 17.4MiB, ์‹œ์ž‘ยท์†Œ์Šค ํ™•์ธยท์ €์žฅ์„ ํฌํ•จํ•œ ์‹œ๊ฐ„์€ ์•ฝ 2.52์ดˆ์˜€์Šต๋‹ˆ๋‹ค. Laya ๋˜๋Š” ์ฃผ์žฅ ๋ชจ๋ธ์˜ ์ถ”๋ก  ๋ฉ”๋ชจ๋ฆฌยทGPU ์‹คํ–‰ยทCodex ์ ˆ๊ฐ ์ˆ˜์น˜๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. ์›๋ณธ์€ ํ•œ ๋ฒˆ ์‹คํ–‰ํ–ˆ๊ณ , ์ €์žฅ ๋น„๊ต๊ธฐ์˜ ์ตœ์ดˆ ์„ค์ • ํ˜•์‹ ์˜ค๋ฅ˜๋ฅผ ๋ณด์กดํ•œ ๋’ค ์ €์žฅ ํŒŒ์ผ ์ฝ๊ธฐ๋งŒ ๋‹ค์‹œ ์ˆ˜ํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ์›์ฒœ22๊ฐœ ์ œ์•ˆ์€ ์ƒˆ ์ ๊ฒฉ0๊ฐœ์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด ๊ธฐ๋Šฅ์„ ์žฌํฌ์žฅํ•˜๊ฑฐ๋‚˜ ํ˜„์žฌ ์ž…๋ ฅ์œผ๋กœ ์ฐจ์ด๋ฅผ ๊ตฌ๋ถ„ ๋ชปํ•˜๋Š” ์„ธ ์ œ์•ˆ์€ ๋ณด๋ฅ˜ํ•ฉ๋‹ˆ๋‹ค. Go-list ์˜์กด์„ฑ ๋ชฉ๋ก ํ™•์ธ๊ณผ ๋ฌธ๊ตฌ ์ค‘๋ณต0์€ ์‹คํ–‰ยท์˜๋ฏธ ๋…๋ฆฝ์„ฑยทํ•™์Šต ์ž๊ฒฉ์„ ๋ณด์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ํ•™์Šต์˜ ํŒ๋‹จ ๊ธฐ์ค€

ํ˜„์žฌ ํ•ญ์ƒ ๋‘ ๋ฒˆ์งธ ํ›„๋ณด๋ฅผ ๊ณ ๋ฅด๋ฉด ์š”์ฒญ ๊ธฐ์ค€ 27/30=90%, ํ•ญ์ƒ ๋ถ€์ •์„ ๊ณ ๋ฅด๋ฉด ํ›„๋ณด ๋ผ๋ฒจ ๊ธฐ์ค€ **58/88โ‰ˆ65.9%**์ž…๋‹ˆ๋‹ค. ๋ถ„๋ชจ๊ฐ€ ๋‹ค๋ฅธ ๋‹จ์ˆœ ๊ธฐ์ค€์ด๋ฉฐ ๋ชจ๋ธ ์ •ํ™•๋„๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. ์˜๋ฏธ ์ดํ•ด ์—†์ด ๋†’์€ ์ ์ˆ˜๊ฐ€ ๊ฐ€๋Šฅํ•ด ํ›„๋ณด ์œ„์น˜ยท์„ค๋ช… ๋ฌธ์ฒดยท์–ดํœ˜ ๋Œ€์กฐ๊ตฐ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์กด ์ž๋ฃŒ์™€ ์‹คํŒจ ๊ธฐ๋ก์„ ๊ณ ์ณ ์ ์ˆ˜๋ฅผ ๋งŒ๋“ค์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

30๊ฐœ๋Š” ์ž๋ฃŒ ์ˆ˜์ง‘ checkpoint์ด๋ฉฐ ์ž๋™ ํ•™์Šต ์‹œ์ž‘ ์กฐ๊ฑด์ด ์•„๋‹™๋‹ˆ๋‹ค. ์ƒˆ๋กœ์šด ์ฝ”๋“œ ๊ฐ€์กฑ์˜ ์˜์กด์„ฑยท๊ณต์œ  ๋ณด์กฐ ์ฝ”๋“œยท์˜๋ฏธ ์ค‘๋ณต์„ ํ™•์ธํ•˜๊ณ , ์ „์ฒด ๊ฐ€์กฑ ๋‹จ์œ„์˜ ํ•™์Šตยท๊ฒ€์ฆยท๋ณด์ • ์—ญํ• ์„ ๊ด€์ธก ์ „์— ์ •ํ•ฉ๋‹ˆ๋‹ค. ์•ฝ60๊ฐœ checkpoint์—์„œ ์ž๋ฃŒ ์ค€๋น„๋„๋ฅผ ๋‹ค์‹œ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์กด79๊ฐœ์™€ ํ•ฉ์นœ109๊ฐœ๋Š” ํ˜„์žฌ ๋‹จ์ˆœ ํ•ฉ๊ณ„์ด๋ฉฐ ๊ณ„๋ณดยท์ค‘๋ณต ๊ฒ€ํ†  ์ „์—๋Š” ๋…๋ฆฝ ํ•™์Šต๋Ÿ‰์œผ๋กœ ์ฃผ์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

ํ›„์† ๋ชจ๋ธ์€ ๋‹จ์ˆœ ์ˆœ์„œ ์„ ํƒยท์–ดํœ˜ยท๊ทœ์น™ ๊ธฐ์ค€๋ณด๋‹ค ๊ฒ€์ฆ์— ํ•„์š”ํ•œ ์ „์ฒด ์ž‘์—…๋Ÿ‰์„ ์ตœ์†Œ 5% ์ค„์ด๋Š”์ง€ ํ‰๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. ์ฃผ์žฅ ๋„๋ฉ”์ธ๋ณ„ ๋ณดํ˜ธ ์š”์ฒญ 2,400๊ฐœ ๊ณ„ํš์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์กด Fit3ํšŒยท๋…ผ๋ฆฌ ๋ชจ๋ธ3๊ฐœ์™€ ์‹คํŒจ ๋ชจ๋ธ ๋น„ํ™œ์„ฑ์€ ๊ทธ๋Œ€๋กœ์ž…๋‹ˆ๋‹ค. 3์ง„ ์ €์žฅ์€ ๋ณ„๋„ ์‹คํ—˜์ด๋ฉฐ ์ €์žฅ ํฌ๊ธฐ ๊ฐ์†Œ๋งŒ์œผ๋กœ CPU ์†๋„ยทํšจ์šฉ ๊ฐœ์„ ์„ ์ธ์ •ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์ด์Šˆ19์—์„œ ์‹ค์ œ ๊ฒŒ์‹œยทCI ๊ฒฐ๊ณผ์™€ ์ง„ํ–‰์„ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž์ฒด ๋ฌธ์„œยท์†Œ์œ  ์†Œ์Šค๋Š” Apache-2.0, ์›์ฒœ ์ „๋ฌธ ๊ณ ์ง€๋Š” ํ•ด๋‹น ๋ผ์ด์„ ์Šค๋ฅผ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ์›๋ณธ ๋ณธ๋ฌธยท๋ชจ๋ธ ๋ณธ์ฒดยท์‚ฌ์  ์ž…๋ ฅยท์ธ์ฆ์ •๋ณดยท์›์‹œ journal์€ ๊ณต๊ฐœ ์ž๋ฃŒ์— ์—†์Šต๋‹ˆ๋‹ค. ์ฝ”๋“œ ๋ผ์ด์„ ์Šค ํ™•์ธ์ด ๋ชจ๋ธ ๊ณ„๋ณด ์ „์ฒด์˜ ํฌ๊ด„์  ๊ถŒ๋ฆฌ ์Šน์ธ์„ ๋œปํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์ฒซ ๋‘ ์š”์ฒญ์˜ ํ•™์Šต ์ž๋ฃŒ ยท ์ฒซ ์›๋ณธ ๊ด€์ธก ยท English

โš ๏ธ **GitHub.com Fallback** โš ๏ธ