Laya Retrospective 57 KO - teamswyg/laya-tools GitHub Wiki

Laya ์›์ฒœ์„ ๋‹ค์‹œ ์ฝ๊ณ  ์ •๋ฆฌํ•œ ๋ฐฉํ–ฅ57

2026-10-02์— SDK commit 4aa6761be8173de4ce6d92c31b3e40b6eaf59a7c๋ฅผ ์ฝ์—ˆ๋‹ค. ๊ณต๊ฐœ ํŒŒ์ผ19๊ฐœ์˜ Git blob๊ณผ ๋‚ด์šฉ์„ ๋Œ€์กฐํ–ˆ๊ณ  ๋ชจ๋ธ ์‹คํ–‰์ด๋‚˜ ๊ฐ€์ค‘์น˜ ๋‹ค์šด๋กœ๋“œ๋Š” ํ•˜์ง€ ์•Š์•˜๋‹ค. ์ด๋ฒˆ ๊ฒ€ํ† ๋Š” ์„ฑ๋Šฅ ๊ฐœ์„  ์‹ค์ธก์ด ์•„๋‹ˆ๋‹ค.

์šฐ๋ฆฌ ๋ชฉํ‘œ์™€ ์›๋ณธ์˜ ์ฐจ์ด

์›๋ณธ์˜ Router๋Š” ๋ช…์‹œํ•œ ๋ชจ๋ธยท์ž‘์—…ยท์–ธ์–ด์— ๋”ฐ๋ผ Laya ์ฒดํฌํฌ์ธํŠธ๋ฅผ ์„ ํƒํ•œ๋‹ค. Codex๊ฐ€ ์ผ์„ ๋๋‚ผ ๊ฐ€๋Šฅ์„ฑ์ด๋‚˜ ์‚ฌ์šฉ๋Ÿ‰์„ ํ•™์Šตํ•œ ์˜ˆ์ธก๊ธฐ๊ฐ€ ์•„๋‹ˆ๋‹ค. typed decoder๋Š” choice์˜ argmax, ์ˆœ์„œํ˜• score์˜ ํ™•๋ฅ  ๊ฐ€์ค‘ ํ‰๊ท , noul์˜ P(true)๋ฅผ ์ œ๊ณตํ•œ๋‹ค. ์ž์œ ๋กœ์šด ์„ค๋ช… ์ƒ์„ฑ๊ณผ๋Š” ๋‹ค๋ฅธ ๊ธฐ๋Šฅ์ด๋ฉฐ score์˜ ๋ฐ˜์˜ฌ๋ฆผ์ด argmax์™€ ๊ฐ™๋‹ค๋Š” ๋ณด์žฅ์€ ์—†๋‹ค.

๋คผ์ด๋„์˜ ์šฐ์„  ๋ชฉํ‘œ๋Š” ๊ทนํžˆ ์ž‘์€ ์ž์›์œผ๋กœ ๋ฐ˜๋ณตํ•ด์„œ ๊ฒ€์ฆํ•  ํ›„๋ณด์— ๋Œ€ํ•œ ํžŒํŠธ๋ฅผ ์ฃผ๋Š” ๊ฒƒ์ด๋‹ค. ํ›„๋ณด์™€ fallback์„ ๋ชจ๋‘ ๋ณด์กดํ•˜๊ณ  ์‹ค์ œ ๊ฒ€์ฆ ๋„๊ตฌ๊ฐ€ ์ •๋‹ต๊ณผ ์Šน์ธ์„ ๋งก๋Š”๋‹ค. ์ƒˆ ๋ชจ๋ธ ๊ฐœ์ˆ˜๋ณด๋‹ค, ์„œ๋กœ ๋‹ค๋ฅธ ๊ณต๊ฐœ ๋™์ž‘์—์„œ BM25๋ณด๋‹ค ํ™•์ธ ์ž‘์—…์„ ์ค„์ด๋Š”์ง€๊ฐ€ ๋‹ค์Œ ํŒ๋‹จ ๊ธฐ์ค€์ด๋‹ค.

๋ฐ”๋กœ ์ฐธ๊ณ ํ•  ์„ธ ๊ฐ€์ง€

์ฐธ๊ณ ์  ๋‹ค์Œ ๋ฒ”์œ„ ๊ฒ€์ฆํ•  ๊ฒƒ
์ ์ˆ˜ ์˜๋ฏธ์™€ ๋ณด๋ฅ˜ ์ƒํƒœ confidence ๊ตฌํ˜„์„ ์ฐธ๊ณ ํ•ด ํ™•๋ฅ /ํœด๋ฆฌ์Šคํ‹ฑยท๋ณด์ • ์—ฌ๋ถ€ยทpassed/abstained/unevaluated๋ฅผ ์ž‘์€ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋กœ ๊ตฌ๋ถ„ ์„ค์ •ํ•˜์ง€ ์•Š์€ ๊ฒŒ์ดํŠธ๋ฅผ ํ†ต๊ณผ๋กœ ํ‘œ์‹œํ•˜์ง€ ์•Š์Œ; NaN/missing ์ ์ˆ˜๋Š” ํ†ต๊ณผ ๋ถˆ๊ฐ€
๋ฌด๊ฑฐ์šด ๋ชจ๋ธ ๋กœ๋”ฉ ์ „ ์ง€์› ๋ฒ”์œ„ ๊ธฐ์กด repo preview์™€ ์ž‘์—… ๋ผ์šฐํ„ฐ์˜ English checkpoint ์–ธ์–ด ๊ฐ€๋“œ๋ฅผ ์ผ๊ด€๋˜๊ฒŒ ๊ฒ€ํ†  ๋ฏธ๊ฒ€์ฆ script์—์„œ๋Š” loader ํ˜ธ์ถœ0; ๋ช…์‹œ override ๋ณด์กด; Latin ๋ฌธ์ž๋งŒ์œผ๋กœ ์˜์–ด ์ง€์› ์ธ์ฆํ•˜์ง€ ์•Š์Œ
๋ฐ˜๋ณต ์š”์ฒญ ์บ์‹œ ์›๋ณธ cache ์˜ˆ์ œ๋ฅผ ์ฐธ๊ณ ํ•ด ์›๋ฌธยทํ›„๋ณด ์ˆœ์„œยท๊ตฌํ˜„/๋ชจ๋ธ revisionยท์˜จ๋„/์˜ˆ์‚ฐ์„ key์— ํฌํ•จํ•˜๋Š” ์ž‘์€ ๋ณ„๋„ ์‹คํ—˜ ๋ถ€์ •ยท</<=ยทํ›„๋ณด ์ˆœ์„œยทrevision ๋ณ€ํ™”์—์„œ miss; mutation/byte cap/eviction/lookup ๋น„์šฉ

์„ธ ํ•ญ๋ชฉ์€ ์ œ์•ˆ์ด๋‹ค. ํ˜„์žฌ ๊ณต๊ฐœ ๊ฒฐ๊ณผ์— ์†Œ๊ธ‰ํ•˜์ง€ ์•Š์œผ๋ฉฐ ์บ์‹œยท์†๋„ยท๋ฉ”๋ชจ๋ฆฌยท์š”๊ธˆ ์ ˆ๊ฐ์„ ์ฃผ์žฅํ•˜์ง€ ์•Š๋Š”๋‹ค. ๊ธฐ์กด ์ •๊ทœํ™” feature SHA๋งŒ์œผ๋กœ ์บ์‹œํ•˜๋ฉด ๊ตฌ๋‘์ ๊ณผ ๋Œ€์†Œ๋ฌธ์ž ์˜๋ฏธ๊ฐ€ ์ถฉ๋Œํ•  ์ˆ˜ ์žˆ๋‹ค. ํ˜„์žฌ Go ํžŒํŠธ๊ฐ€ ์ด๋ฏธ ์ˆ˜์‹ญ ยตs๋ผ ์บ์‹œ ์กฐํšŒ๊ฐ€ ๋” ๋น„์Œ€ ๊ฐ€๋Šฅ์„ฑ๋„ ๋น„๊ตํ•ด์•ผ ํ•œ๋‹ค.

answer_confidence=max(p)๋Š” ์ด์ „ SDK pin์—๋„ ์žˆ์—ˆ๋‹ค. choice/score์˜ entropy ๊ธฐ๋ฐ˜ confidence์™€ ๊ตฌ๋ถ„ํ•˜๊ณ , noul์˜ confidence๋Š” max(p)๋‹ค. ์–ด๋А ๊ฐ’๋„ checkpointยท์„ ํƒ์ง€ ์ˆ˜ยท๋„๋ฉ”์ธ์˜ ๋…๋ฆฝ ๋ณด์ • ์—†์ด ์„ฑ๊ณต ํ™•๋ฅ ์ด ๋˜์ง€๋Š” ์•Š๋Š”๋‹ค. ๊ณผ๊ฑฐ โ€œconfidence๋Š” entropyโ€ ์„ค๋ช…์€ ํ•ด๋‹น choice/score ํ•„๋“œ์— ํ•œ์ •ํ•ด ์ฝ๋Š”๋‹ค. ๊ณผ๊ฑฐ snapshot ์ž์ฒด๋Š” ๋ณด์กดํ•œ๋‹ค.

์ด๋ฏธ Go์— ์žˆ๋Š” choice/noulยท์ž˜๋ฆผ ๊ฒ€์‚ฌยท์ƒ์ฃผ ORTยทBPE ์บ์‹œยทnone/ambiguousยทfallbackยทJSONL์„ ์ƒˆ ์—”์ง„์œผ๋กœ ๋‹ค์‹œ ๋งŒ๋“ค ํ•„์š”๋Š” ์—†๋‹ค. Go Predict์˜ score ์ง€์›์ด ์—†์œผ๋ฏ€๋กœ ๋ชจ๋“  ์›๋ณธ primitive๊ฐ€ ์ด์‹๋๋‹ค๊ณ  ํ•˜์ง€ ์•Š๋Š”๋‹ค. ๊ฐ€๋ณ€ BPE ์บ์‹œ์™€ Predict/Close ์ˆ˜๋ช…์„ ๋ณดํ˜ธํ•˜๋Š” lock์„ ์›๋ณธ Router์˜ lock ์œ„์น˜๋งŒ ๋ณด๊ณ  ์ œ๊ฑฐํ•˜๋ฉด ์•ˆ ๋œ๋‹ค. ์›๋ณธ Agent์—๋„ ๋ณ„๋„ ์ถ”๋ก  read lock์ด ์žˆ๋‹ค.

์›๋ณธ English421M/multilingual322M์€ ์ „์ฒด ๋ชจ๋ธ ํฌ๊ธฐ์ด๋ฉฐ backbone์€395M/307M์ด๋‹ค. ์ž‘์€3์ง„ head๋ฅผ ๋งŒ๋“ค์–ด๋„ ๋‚จ๊ธด backbone ๋ฉ”๋ชจ๋ฆฌ๋Š” ์‚ฌ๋ผ์ง€์ง€ ์•Š๋Š”๋‹ค. ๋‹ค์ค‘ ์งˆ๋ฌธ์€ ์ƒํƒœ ํ† ํฐํ™”๋ฅผ ์žฌ์‚ฌ์šฉํ•˜์ง€๋งŒ ์งˆ๋ฌธ๋ณ„ encoder ์ž…๋ ฅ์€ ๋‚จ๋Š”๋‹ค. ์งˆ๋ฌธ์— ์˜์กดํ•˜๋Š” hidden state๋ฅผ ์ƒํƒœ ๋ฌธ์ž์—ด๋งŒ์œผ๋กœ ์บ์‹ฑํ•˜์ง€ ์•Š๋Š”๋‹ค.

๋ฒค์น˜๋งˆํฌ์™€ ๋ผ์ด์„ ์Šค

์›๋ณธ์˜ ๋ชจ๋ธ ๋ผ์šฐํŒ… ์˜ˆ์ œ๋Š” ์ •์ฑ… ์˜ˆ์ œ๋‹ค. ์•ฑ ๋ฒค์น˜๋งˆํฌ์˜399๊ฑด routing์€ GSM8K/MBPP/AG News ๋„๋ฉ”์ธ ๋ถ„๋ฅ˜์ด๋ฉฐ Codex ์™„๋ฃŒยท๋น„์šฉ ํ‰๊ฐ€๊ฐ€ ์•„๋‹ˆ๋‹ค. ์›๋ณธ ๊ฒฐ๊ณผ ๋ฌธ์„œ๋Š” ์ผ๋ถ€ fine-tuned ํ–‰์˜ committed result ๋ถ€์žฌ์™€ ๋‚ฎ์€ base ๊ฒฐ๊ณผ๋„ ๋ช…์‹œํ•œ๋‹ค. ๋‹ค๋ฅธ GPU์—์„œ ๋ณด๊ณ ๋œ ์‹œ๊ฐ„์€ ์šฐ๋ฆฌ Mac/Go ์„ฑ๋Šฅ์œผ๋กœ ์˜ฎ๊ธฐ์ง€ ์•Š๋Š”๋‹ค.

SDK LICENSE๋Š” Apache-2.0์ด๋‹ค. ์ฝ”๋“œ ๋ณต์‚ฌ/๋ฒˆ์—ญ ์‹œ LICENSEยท๊ด€๋ จ ๊ณ ์ง€ยท๋ณ€๊ฒฝ ํ‘œ์‹œ๋ฅผ ๋ณด์กดํ•œ๋‹ค. ๋ชจ๋ธ์€ ๋ณ„๋„ ์นด๋“œ ์„ ์–ธ์„ ํ™•์ธํ–ˆ๋‹ค.

์นด๋“œ ํ™•์ธ revision ์นด๋“œ ์„ ์–ธ
English 55cf4c4ebb4ebe31b2550e8bdf3bd21b99753851 Apache-2.0
Multilingual e4e9ddf21a7b1903b7acffd8814ad4307bf63a67 Apache-2.0
Typed decisions 1a793eb568e6718f15941d08f85432581df534e3 Apache-2.0

์ด๋Š” ๊ณต๊ฐœ ์„ ์–ธ ํ™•์ธ์ด๋ฉฐ ํ•™์Šต ๋ฐ์ดํ„ฐ ๊ถŒ๋ฆฌ ์ „์ฒด๋ฅผ ์ธ์ฆํ•œ ๊ฒฐ๊ณผ๋Š” ์•„๋‹ˆ๋‹ค. ๊ณต๊ฐœ teacher ๋ผ๋ฒจ์„ ์šฐ๋ฆฌ์˜ ๋…๋ฆฝ ์ •๋‹ต์œผ๋กœ ์ˆ˜์ž…ํ•˜์ง€ ์•Š๋Š”๋‹ค. ์ƒˆ ์œ ๋ฃŒ ๋ชจ๋ธ ํ˜ธ์ถœยทfitยท๊ฐ€์ค‘์น˜ยท์ตœ์ข… ํ‰๊ฐ€0, ๊ธฐ์กด ์ตœ์†Œ15๊ทธ๋ฃน/ํ•„์š” ํšจ์šฉ5%/๋„๋ฉ”์ธ๋ณ„ ๊ณ ์œ  ๋ณดํ˜ธ ์ตœ์ข…2400๊ฐœ ๊ธฐ์ค€์„ ์œ ์ง€ํ•œ๋‹ค.