Laya Retrospective 57 KO - teamswyg/laya-tools GitHub Wiki
Laya ์์ฒ์ ๋ค์ ์ฝ๊ณ ์ ๋ฆฌํ ๋ฐฉํฅ57
2026-10-02์ SDK commit 4aa6761be8173de4ce6d92c31b3e40b6eaf59a7c๋ฅผ ์ฝ์๋ค. ๊ณต๊ฐ ํ์ผ19๊ฐ์ Git blob๊ณผ ๋ด์ฉ์ ๋์กฐํ๊ณ ๋ชจ๋ธ ์คํ์ด๋ ๊ฐ์ค์น ๋ค์ด๋ก๋๋ ํ์ง ์์๋ค. ์ด๋ฒ ๊ฒํ ๋ ์ฑ๋ฅ ๊ฐ์ ์ค์ธก์ด ์๋๋ค.
์ฐ๋ฆฌ ๋ชฉํ์ ์๋ณธ์ ์ฐจ์ด
์๋ณธ์ Router๋ ๋ช ์ํ ๋ชจ๋ธยท์์ ยท์ธ์ด์ ๋ฐ๋ผ Laya ์ฒดํฌํฌ์ธํธ๋ฅผ ์ ํํ๋ค. Codex๊ฐ ์ผ์ ๋๋ผ ๊ฐ๋ฅ์ฑ์ด๋ ์ฌ์ฉ๋์ ํ์ตํ ์์ธก๊ธฐ๊ฐ ์๋๋ค. typed decoder๋ choice์ argmax, ์์ํ score์ ํ๋ฅ ๊ฐ์ค ํ๊ท , noul์ P(true)๋ฅผ ์ ๊ณตํ๋ค. ์์ ๋ก์ด ์ค๋ช ์์ฑ๊ณผ๋ ๋ค๋ฅธ ๊ธฐ๋ฅ์ด๋ฉฐ score์ ๋ฐ์ฌ๋ฆผ์ด argmax์ ๊ฐ๋ค๋ ๋ณด์ฅ์ ์๋ค.
๋คผ์ด๋์ ์ฐ์ ๋ชฉํ๋ ๊ทนํ ์์ ์์์ผ๋ก ๋ฐ๋ณตํด์ ๊ฒ์ฆํ ํ๋ณด์ ๋ํ ํํธ๋ฅผ ์ฃผ๋ ๊ฒ์ด๋ค. ํ๋ณด์ fallback์ ๋ชจ๋ ๋ณด์กดํ๊ณ ์ค์ ๊ฒ์ฆ ๋๊ตฌ๊ฐ ์ ๋ต๊ณผ ์น์ธ์ ๋งก๋๋ค. ์ ๋ชจ๋ธ ๊ฐ์๋ณด๋ค, ์๋ก ๋ค๋ฅธ ๊ณต๊ฐ ๋์์์ BM25๋ณด๋ค ํ์ธ ์์ ์ ์ค์ด๋์ง๊ฐ ๋ค์ ํ๋จ ๊ธฐ์ค์ด๋ค.
๋ฐ๋ก ์ฐธ๊ณ ํ ์ธ ๊ฐ์ง
| ์ฐธ๊ณ ์ | ๋ค์ ๋ฒ์ | ๊ฒ์ฆํ ๊ฒ |
|---|---|---|
| ์ ์ ์๋ฏธ์ ๋ณด๋ฅ ์ํ | confidence ๊ตฌํ์ ์ฐธ๊ณ ํด ํ๋ฅ /ํด๋ฆฌ์คํฑยท๋ณด์ ์ฌ๋ถยทpassed/abstained/unevaluated๋ฅผ ์์ ๋ฉํ๋ฐ์ดํฐ๋ก ๊ตฌ๋ถ | ์ค์ ํ์ง ์์ ๊ฒ์ดํธ๋ฅผ ํต๊ณผ๋ก ํ์ํ์ง ์์; NaN/missing ์ ์๋ ํต๊ณผ ๋ถ๊ฐ |
| ๋ฌด๊ฑฐ์ด ๋ชจ๋ธ ๋ก๋ฉ ์ ์ง์ ๋ฒ์ | ๊ธฐ์กด repo preview์ ์์ ๋ผ์ฐํฐ์ English checkpoint ์ธ์ด ๊ฐ๋๋ฅผ ์ผ๊ด๋๊ฒ ๊ฒํ | ๋ฏธ๊ฒ์ฆ script์์๋ loader ํธ์ถ0; ๋ช ์ override ๋ณด์กด; Latin ๋ฌธ์๋ง์ผ๋ก ์์ด ์ง์ ์ธ์ฆํ์ง ์์ |
| ๋ฐ๋ณต ์์ฒญ ์บ์ | ์๋ณธ cache ์์ ๋ฅผ ์ฐธ๊ณ ํด ์๋ฌธยทํ๋ณด ์์ยท๊ตฌํ/๋ชจ๋ธ revisionยท์จ๋/์์ฐ์ key์ ํฌํจํ๋ ์์ ๋ณ๋ ์คํ | ๋ถ์ ยท</<=ยทํ๋ณด ์์ยทrevision ๋ณํ์์ miss; mutation/byte cap/eviction/lookup ๋น์ฉ |
์ธ ํญ๋ชฉ์ ์ ์์ด๋ค. ํ์ฌ ๊ณต๊ฐ ๊ฒฐ๊ณผ์ ์๊ธํ์ง ์์ผ๋ฉฐ ์บ์ยท์๋ยท๋ฉ๋ชจ๋ฆฌยท์๊ธ ์ ๊ฐ์ ์ฃผ์ฅํ์ง ์๋๋ค. ๊ธฐ์กด ์ ๊ทํ feature SHA๋ง์ผ๋ก ์บ์ํ๋ฉด ๊ตฌ๋์ ๊ณผ ๋์๋ฌธ์ ์๋ฏธ๊ฐ ์ถฉ๋ํ ์ ์๋ค. ํ์ฌ Go ํํธ๊ฐ ์ด๋ฏธ ์์ญ ยตs๋ผ ์บ์ ์กฐํ๊ฐ ๋ ๋น์ ๊ฐ๋ฅ์ฑ๋ ๋น๊ตํด์ผ ํ๋ค.
answer_confidence=max(p)๋ ์ด์ SDK pin์๋ ์์๋ค. choice/score์ entropy ๊ธฐ๋ฐ confidence์ ๊ตฌ๋ถํ๊ณ , noul์ confidence๋ max(p)๋ค. ์ด๋ ๊ฐ๋ checkpointยท์ ํ์ง ์ยท๋๋ฉ์ธ์ ๋
๋ฆฝ ๋ณด์ ์์ด ์ฑ๊ณต ํ๋ฅ ์ด ๋์ง๋ ์๋๋ค. ๊ณผ๊ฑฐ โconfidence๋ entropyโ ์ค๋ช
์ ํด๋น choice/score ํ๋์ ํ์ ํด ์ฝ๋๋ค. ๊ณผ๊ฑฐ snapshot ์์ฒด๋ ๋ณด์กดํ๋ค.
์ด๋ฏธ Go์ ์๋ choice/noulยท์๋ฆผ ๊ฒ์ฌยท์์ฃผ ORTยทBPE ์บ์ยทnone/ambiguousยทfallbackยทJSONL์ ์ ์์ง์ผ๋ก ๋ค์ ๋ง๋ค ํ์๋ ์๋ค. Go Predict์ score ์ง์์ด ์์ผ๋ฏ๋ก ๋ชจ๋ ์๋ณธ primitive๊ฐ ์ด์๋๋ค๊ณ ํ์ง ์๋๋ค. ๊ฐ๋ณ BPE ์บ์์ Predict/Close ์๋ช
์ ๋ณดํธํ๋ lock์ ์๋ณธ Router์ lock ์์น๋ง ๋ณด๊ณ ์ ๊ฑฐํ๋ฉด ์ ๋๋ค. ์๋ณธ Agent์๋ ๋ณ๋ ์ถ๋ก read lock์ด ์๋ค.
์๋ณธ English421M/multilingual322M์ ์ ์ฒด ๋ชจ๋ธ ํฌ๊ธฐ์ด๋ฉฐ backbone์395M/307M์ด๋ค. ์์3์ง head๋ฅผ ๋ง๋ค์ด๋ ๋จ๊ธด backbone ๋ฉ๋ชจ๋ฆฌ๋ ์ฌ๋ผ์ง์ง ์๋๋ค. ๋ค์ค ์ง๋ฌธ์ ์ํ ํ ํฐํ๋ฅผ ์ฌ์ฌ์ฉํ์ง๋ง ์ง๋ฌธ๋ณ encoder ์ ๋ ฅ์ ๋จ๋๋ค. ์ง๋ฌธ์ ์์กดํ๋ hidden state๋ฅผ ์ํ ๋ฌธ์์ด๋ง์ผ๋ก ์บ์ฑํ์ง ์๋๋ค.
๋ฒค์น๋งํฌ์ ๋ผ์ด์ ์ค
์๋ณธ์ ๋ชจ๋ธ ๋ผ์ฐํ ์์ ๋ ์ ์ฑ ์์ ๋ค. ์ฑ ๋ฒค์น๋งํฌ์399๊ฑด routing์ GSM8K/MBPP/AG News ๋๋ฉ์ธ ๋ถ๋ฅ์ด๋ฉฐ Codex ์๋ฃยท๋น์ฉ ํ๊ฐ๊ฐ ์๋๋ค. ์๋ณธ ๊ฒฐ๊ณผ ๋ฌธ์๋ ์ผ๋ถ fine-tuned ํ์ committed result ๋ถ์ฌ์ ๋ฎ์ base ๊ฒฐ๊ณผ๋ ๋ช ์ํ๋ค. ๋ค๋ฅธ GPU์์ ๋ณด๊ณ ๋ ์๊ฐ์ ์ฐ๋ฆฌ Mac/Go ์ฑ๋ฅ์ผ๋ก ์ฎ๊ธฐ์ง ์๋๋ค.
SDK LICENSE๋ Apache-2.0์ด๋ค. ์ฝ๋ ๋ณต์ฌ/๋ฒ์ญ ์ LICENSEยท๊ด๋ จ ๊ณ ์งยท๋ณ๊ฒฝ ํ์๋ฅผ ๋ณด์กดํ๋ค. ๋ชจ๋ธ์ ๋ณ๋ ์นด๋ ์ ์ธ์ ํ์ธํ๋ค.
| ์นด๋ | ํ์ธ revision | ์นด๋ ์ ์ธ |
|---|---|---|
| English | 55cf4c4ebb4ebe31b2550e8bdf3bd21b99753851 |
Apache-2.0 |
| Multilingual | e4e9ddf21a7b1903b7acffd8814ad4307bf63a67 |
Apache-2.0 |
| Typed decisions | 1a793eb568e6718f15941d08f85432581df534e3 |
Apache-2.0 |
์ด๋ ๊ณต๊ฐ ์ ์ธ ํ์ธ์ด๋ฉฐ ํ์ต ๋ฐ์ดํฐ ๊ถ๋ฆฌ ์ ์ฒด๋ฅผ ์ธ์ฆํ ๊ฒฐ๊ณผ๋ ์๋๋ค. ๊ณต๊ฐ teacher ๋ผ๋ฒจ์ ์ฐ๋ฆฌ์ ๋ ๋ฆฝ ์ ๋ต์ผ๋ก ์์ ํ์ง ์๋๋ค. ์ ์ ๋ฃ ๋ชจ๋ธ ํธ์ถยทfitยท๊ฐ์ค์นยท์ต์ข ํ๊ฐ0, ๊ธฐ์กด ์ต์15๊ทธ๋ฃน/ํ์ ํจ์ฉ5%/๋๋ฉ์ธ๋ณ ๊ณ ์ ๋ณดํธ ์ต์ข 2400๊ฐ ๊ธฐ์ค์ ์ ์งํ๋ค.