Task Results 53 KO - teamswyg/laya-tools GitHub Wiki
PDCA 53: ํ๋ ๋ณ๊ฒฝ์ ๋ฐ๋ณต ์คํ๊ณผ ๊ณต๊ฐ Go ์์ฒ ํ๋
English ยท ๋ด์ธํ ๊ณํ ยท ์ฌ์ Laya ๊ด์ธก ยท ์ ์ฒด ์์น
์ ํ๋ ์์ฒญ repo-keyword-language-guard ํ๋๋ฅผ ๋ ์์ฒญ ํ๋กํ๋ก ๊ฐ๊ฐ ๋ ๋ฒ ์ํํ๋ค. ๊ณ ์ ํ ๋ค CLI ์๋ ๋ชจ๋ ๋
๋ฆฝ ์๊ตฌ์ฌํญ ๊ฒ์ฌ๋ฅผ ํต๊ณผํ๊ณ , ์ ์ ์ข
๋ฃ์ ๊ธฐ๋ณธ ์ฌ์ฉ๋์ ํ์ธํ๋ค. ์ ์์ฒญ์ 1๊ฐ์ด๋ฉฐ ์คํ 4๊ฐ๊ฐ ์๋๋ค. ํต์ฌ ์์ค ๋ณ๊ฒฝ์ ๋ค ๋ฒ ๋ชจ๋ ๊ฐ์ bytes์๋ค. ๊ฒ์ฆํ ํค์๋ ๋ณดํธ ๋ณ๊ฒฝ์ ์ค์ ์ ์ฅ์ ์ ํ ์ฝ๋์๋ ๋ฐ์ํ๋ค.
๋์ ์ค์ ์ฝ๋ฉ ์๋ฃ๋ ๊ณ ์ ๊ฐ๋ฐ ์์ฒญ 4๊ฐยท์์ ํ ์คํ ๊ธฐ๋ก 12๊ฐยท๋ ์ฝ๋ ๊ฐ์กฑยทํ ์ ์ฅ์๋ค. ์๋ก ๋ค๋ฅธ ์์ฒ์ ๊ฐ๋ฐ ์์ฒญ 120๊ฐ๋ ๋๋ฉ์ธ๋ณ ๋ณดํธ ์ต์ข ํ๊ฐ 2,400๊ฐ๋ฅผ ์คํํ๋ค๋ ๊ฒฐ๊ณผ๊ฐ ์๋๋ค.
Plan
๊ณํ SHA 2205505aeaf03e331ff1d3872c2aee6fe11a1f9668c3c7574f0d30f41cdb2390์ ๊ฒฐ๊ณผ ์ commit ebd1507c957e8ac3991a2e71cf58eeb5b8f8f8f4์ ๊ณ ์ ํ๋ค. ์์ฒญ ์์๋ Luna / Sol6 / Sol6 / Luna, ๋์ ์คํ 1๊ฐ, ๋ณธ ์คํ 120์ดยท๋
๋ฆฝ ๊ฒ์ฌ 45์ด, ์คํ๊ธฐ ์ฌ์๋ยท์ฌ๊ฐยท๋์ฒด ์์์ด๋ค. ๊ฐ์ ์์ฒญ์ ๋ฐ๋ณต์ ๋ณ๋์ฑ ๊ด์ฐฐ์ ์ํ ์ฌ์ ์ ํ์ด๋ค.
์คํ๊ธฐ๋ CI๊ฐ ํต๊ณผํ ๋ณ๊ฒฝ ์๋ main ee72334166e2962b0821d5198a50fdd13f92ab29์ ๊นจ๋ํ -trimpath ๋น๋๋ค. Go metadata์ ํด๋น revision๊ณผ vcs.modified=false, ๋ฐ์ด๋๋ฆฌ SHA 5b801da856ed824a11372a9fb705901f3624f09bd1b52283c46efe28a3420c6c๋ฅผ ํ์ธํ๋ค. ๊ณต๊ฐ ์์
์ ๋ณ๋ revision 146b02b9c37e6d90a11386050ccfdffc036c113e์ ์ด์ ์ ๊ฒ์ํ version1 ๊ณ์ฝ์ ๊ทธ๋๋ก ์ฌ์ฉํ๋ค. ์ด๋ฒ์ ์ค๋นํ๋ ์ ํ์ฑ ๊ณ์ฝ์ด๋ ์์ฒ ๋ชฉ๋ก์ ์ด ๋ค ์๋์ ์ฌ์ฉํ์ง ์์๋ค.
์ค์ ยท์บ์ ์๋ ์์ ๋ก๊ทธ์ธ ๊ณต๊ฐ์ ์ฝ๊ธฐ ์ ์ฉ CLI ์นดํ๋ก๊ทธ ์กฐํ๋ก ๋ ํ๋กํ์ low๋ฅผ ํ์ธํ๋ค. CLIยทGo ์คํ ํ์ผ์ ์ด์ ๊ณ ์ ๊ฐ์ ๊ฐ์๋ค. ์นดํ๋ก๊ทธ๋ ์ ๊ทผ๊ถ์ด๋ ์ค์ ๋ฐฑ์๋ ๋ชจ๋ธ์ ์ฆ๋ช
์ด ์๋๋ฉฐ, ๋ชจ๋ observed_model์ ์ฌ์ ํ unknown์ด๋ค. ๊ธฐ์กด ChatGPT ๋ก๊ทธ์ธ์ ์ฌ์ฉํ๊ณ API ํค ์๊ธยท์ endpointยทํด๋ผ์ฐ๋ ํ์ตยท๊ตฌ๋งค ํฌ๋ ๋ง์ ์ถ๊ฐํ์ง ์์๋ค. ๊ธ์กยท๊ตฌ๋
์ฌ์ฉ๋๊ณผ ๋ด๋ถ ํธ์ถยท์ฌ์๋ ์๋ ๋ฏธํ์ธ์ด๋ค.
์์ ๊ฒฐ๊ณผ ์ Laya
๊ธฐ์กด ํ๋ณด ๋ชฉ๋ก์ ์์ฑ์ ๋์ด๋ ๊ฐ์ค์ fast์๋ค. ๋ณ๋ ๋ด์ธํ ๊ณํ53์ ๊ฒฐ๊ณผ์ Laya ๊ด์ธก ์ ์ standard๋ฅผ ์ ์ํ๋ค. ๋ ๋ค ์์ฑ์์ ๊ฐ์ค์ด๋ฉฐ ์ ๋ต์ผ๋ก ์ฌ๋ถ๋ฅํ์ง ์๋๋ค.
์ ํํ ์์ prompt๋ฅผ ๊ณ ์ Laya INT8 baseยทCPU 1์ค๋ ๋ยท์๊ณ๊ฐ0.9๋ก ํ ๋ฒ ์คํํ๋ค. ์ ์์ standard, ์ต๋ ์ ์๋ 0.6692456483์ผ๋ก ๋ณด๋ฅํ๋ค. strong ๊ฒฐ๊ณผ์ ๋ชจ๋ธ ์ด๋ฆ Astra๋ ์ค์ ์์ fallback์ด๋ฉฐ ์ค์ Astra ์ฝ๋ฉ ์คํ์ ์๋ค. ์ fast/Lunaยทstandard/Sol6ยทstrong/Astra ๋งคํ์ ์ด ์ ๊ด์ธก์๋ง ์ ์ฉํ๋ค. ์ด์ ์์ธก๊ณผ ๊ทธ 6.1 Sol ๋งคํ์ ๊ทธ๋๋ก ๋ณด์กดํ๋ค.
์ ์ฒด ํ๋ก์ธ์ค ๊ด์ธก์ 1,273ms, ์ฑ ๋ณด๊ณ ms๋ 860.411ms, OS ์ต๋ RSS๋ 1,503,657,984bytes(์ฝ1.50GB/1.40GiB), ์ต๋ memory footprint๋ 1,473,218,696bytes๋ค. ํ ๋ฒ์ cold ๊ด์ธก์ผ๋ก native ๋ก๋ฉ์ ํฌํจํ๋ฉฐ warm ์์ฒญ ์ง์ฐยทGo heapยทGPU ๋ฉ๋ชจ๋ฆฌยท์๊ฒฉ ์ฝ๋ฉ ๋ชจ๋ธ ์์์ด ์๋๋ค. ์ด์ ์์ ๋ชฉํ ๋ฌ์ฑ ๊ทผ๊ฑฐ๊ฐ ์๋๋ค. ๋ชจ๋ธยทruntimeยท๊ท์ ๋ฌธ์ 11ํ์ผ์ ๋ณ๊ฒฝ ์๋ manifest์ ๋์กฐํ๋ค.
๋ผ์ฐํฐ ๋ฐ์ด๋๋ฆฌ๋ ๊ณ ์ ๊ณต๊ฐ Git source archive์ -trimpath -buildvcs=false ๋น๋์ด๋ฉฐ VCS metadata๊ฐ ์๋ค. ๊นจ๋ํ VCS ์คํ๊ธฐ ๋น๋์ ๊ตฌ๋ณํ๋ค. ์์ธก ํ์ผ์ ์ฝ๋ฉ ๊ฒฐ๊ณผ ์ commit 469dc8ffcf72d55046a8bb0ec498a50e94ada099์ ๊ณ ์ ํ๋ค. confidence๋ ๋ณด์ ๋ ์ฝ๋ฉ ์ฑ๊ณต ํ๋ฅ ์ด ์๋๋ค.
Do / Check
| ์์ | ์์ฒญ ํ๋กํ | ๋ณธ ์คํ ms | ๋ ๋ฆฝ ๊ฒ์ฌ ms | ์ ๋ ฅ | ๊ทธ์ค ์บ์ | ์ถ๋ ฅ | ๊ทธ์ค reasoning |
|---|---|---|---|---|---|---|---|
| 1 | Luna low | 36,006 | 4,108 | 79,359 | 61,184 | 1,131 | 0 |
| 2 | Sol6 low | 38,435 | 4,105 | 80,278 | 64,256 | 1,112 | 9 |
| 3 | Sol6 low | 58,658 | 4,254 | 115,974 | 104,192 | 1,646 | 67 |
| 4 | Luna low | 38,788 | 4,391 | 64,194 | 50,944 | 1,001 | 0 |
๋ค ์๋ ๋ชจ๋ ํ๋ณด ๋ฒ์ ์์ฉยทexit0ยท์์ ์บก์ฒยทํ๋ก์ธ์ค ๊ทธ๋ฃน ํ์ยท๋ณต์ฌํ ์ธ์ฆ ์ ๊ฑฐ๋ฅผ ํ์ธํ๋ค. ๊ธฐ๋ณธ CLI ์ฌ์ฉ๋ ํฉ๊ณ๋ ์ ๋ ฅ339,805ยท๊ทธ์ค ์บ์280,576ยท์ถ๋ ฅ4,890ยท๊ทธ์ค reasoning76์ด๋ค. ์บ์์ reasoning์ ์ค๋ณต ํฉ์ฐํ์ง ์๋๋ค. ๋ณธ ์คํ ํฉ๊ณ171,887ms์ ๋ ๋ฆฝ ๊ฒ์ฌ16,858ms๋ ๋ถ๋ชจ ์ค๋น ๋ฑ์ ์ ์ธํ ๋ณ๋ ์๊ฐ์ด๋ค. ๊ธ์กยท๊ตฌ๋ ์๋์ ์ด ํ ํฐ ํฉ๊ณ๋ก ์ถ์ ํ์ง ์๋๋ค.
๋ชจ๋ธ์ด ๋ณ๊ฒฝํ ํ
์คํธ ํ์ผ๋ ํด์๋ก ๋ณด์กดํ์ง๋ง ์์ฉ ๊ทผ๊ฑฐ๋ก ์คํํ์ง ์์๋ค. ์ ์ธํ mutable ์์ค๋ง ๊ณ ์ ์๋ณธ ํ
์คํธ์ ๋
๋ฆฝ ๊ณ์ฝ์ผ๋ก ๊ฒ์ฌํ๋ค. ํ๋ณด์ ๋ค๋ฅธ ํ์ผยท๋ฐํ์ ์บ์ยท์ถ๊ฐ ํ์ผ์ ๋ฏธํ๊ฐ๋ค. ๊ฐ ๊ณต๊ฐ ์ข
๋ฃ JSON์ ๋น๊ณต๊ฐ ์์ record.json๊ณผ byte-identical์ด์๋ค. ์์ traceยท์ธ์ฆยท์ ๋ ๋ก์ปฌ ๊ฒฝ๋กยท๋ชจ๋ธ ๋ณธ์ฒด๋ฅผ ๊ณต๊ฐํ์ง ์๋๋ค.
Sol์ ๋ ๋ฒ์ ๋ชจ๋ ์์ฉ๋์ง๋ง ์คํ38.435/58.658์ด, ์ ๋ ฅ80,278/115,974๋ก ๋ฌ๋๋ค. Luna๋36.006/38.788์ด, ์ ๋ ฅ79,359/64,194์๋ค. ๋ ๊ด์ธก์ผ๋ก ๋ถํฌยท์ผ๋ฐ ์ฑ๋ฅ์ ์ถ์ ํ์ง ์๋๋ค. Luna์ ์ด ์ ๋ ฅ์ ๋ ์ ์ง๋ง, ์บ์๋ฅผ ์ ์ธํ ์ ๋ ฅ์ Luna31,425ยทSol27,804๋ก ์์๊ฐ ๋ฐ๋๋ค. ์ด ์ ๋ ฅ ํ๋๋ก ์ด๋ ํ๋กํ์ ์ค์ ๋น์ฉ์ด ๋ฎ๋ค๊ณ ๊ฒฐ์ ํ ์ ์๋ค.
Act
์ฒซ ์๋ฃยท์์ฉ ํ๋ณด์ router.go SHA e0d9ddb2373604e41b35e151e7b593174dbdc005410ab5132567f15285d7883b์ ๊ฐ์ ๋ณ๊ฒฝ์ runtime์ ๋ฐ์ํ๋ค. ์ค์ ๊ธฐ์ค ์์ค์ ๋์กฐํ๊ณ , ๊ฒ์ํ ๋
๋ฆฝ ๊ณ์ฝ์ ํจ์ ์ด๋ฆ๋ง ๋ฐ๊ฟ runtime ํ๊ท ๊ฒ์ฌ๋ก ๊ฐ์ ธ์๋ค. ํ๋ณด๊ฐ ์์ฑํ ํ
์คํธ๋ ๊ฐ์ ธ์ค์ง ์์๋ค. ์ ํ๋ ํ๋ณด์ ํค์๋๋ง ๊ฒ์ฌํ๋ฉฐ nil-Judgeยท๊ธฐ์กด ์ฟผ๋ฆฌ ๋ณดํธยทlexical fallback์ ์ ์งํ๋ค. ํ ๋นยท๊ณต์ ์ํยทlock์ ์ถ๊ฐํ์ง ์์๊ณ ๊ธฐ์กด8ํ๋ณดร32ํค์๋ร128byte ํ๋ ์์์ ์ํํ๋ค.
๊ณต๊ฐ Go ํ๋ณด ์กฐ์ฌ๋ 8๊ฐ ์ ์ฅ์์์ ์ง์ ์์ฑํ ํ๋ ์์ฒญ ํ๋ณด120๊ฐ๋ฅผ ์์ฒ revisionยท์ค์ ํ์ผยท๋ผ์ด์ ์ค ๊ทผ๊ฑฐ์ ์ฐ๊ฒฐํ๋ค. ์ด๋ ์คํ ์ ๊ฒฉ ์์ฒญ120๊ฐ๊ฐ ์๋๋ค. ๋ ๋ฆฝ ์๋ฃ ๊ฒ์ฌยท๋ซํ ์์ค ๋ฒ์ยทํ์ผ๋ณ ๊ท์ยท์์กด์ฑยท๊ฒฉ๋ฆฌยท์คํ ์์ฐ์ ๋ค์ ๋จ๊ณ์์ ๊ฒ์ฆํด์ผ ํ๋ฉฐ ํ์ต ๋ผ๋ฒจ๊ณผ final ์ ๊ฒฉ์ฑ์ ์๋ค. ํ ํ๋ฆฟยท๊ณต์ ์ฝ๋ยท๋ถ๋ชจ/์์ยทfork ๊ด๊ณ๋ ๋ถํ ์ ์ฐ๊ฒฐํ๋ค.
๋ณ๋ ์ ํ์ฑ ์์ ์ JSONL event ์ต์์ ํค์ ์ค๋ณตยท64๊ฐ ๊ฐ์ยท128byte ๊ธธ์ด ๊ฒฝ๊ณ๋ฅผ ๊ฒ์ฆํ๋ versioned ๊ณ์ฝ์ด๋ค. ๊ฒ์ ์ ๋ ๋ฆฝ ๊ฒํ ์์ type ์์ ํค ์๋ต, startup ๋ด๋ถ ํค์ ๊ณผ๋ํ ์ ํ, ๊ธฐ์กด usage ์ค๋ฅ ์ข ๋ฅ ๋ณ๊ฒฝ, unknown ํค ์ด๋ฆ ๋ณด์กด, JSON ์ถ๋ ฅ๋ง ์จ๊ธด ์ด๋ฆ ๋ณด์กด, ๋น๋ฌธ์์ด unknown ๊ฐ ๋ณด์กด์ ์ฌ์ฏ false acceptance๋ฅผ ์ฌํํด ๊ณ์ฝ์ ๋ณด๊ฐํ๋ค. ์์ฑํ ์๋ชป๋ ๊ตฌํ17์ข ์ ๊ฑฐ์ ํ๊ณ ์ฌ๋ฐ๋ฅธ ๊ตฌํ์ ์์ฉํ๋ค. ์ต์ข ๋ ๋ฆฝ ์ฌ๊ฒ์ฌ์์๋ privacy ์ค๋ฅ3์ข ๊ฑฐ์ ยท๊ฐ์ ์ฌ๋ฐ๋ฅธ ๊ตฌํ ์์ฉ์ ํ์ธํ๋ค. ๋ณต์ ์ค๋ฅ๊ฐ ์์ธ ์ ๋ ฅ์ ์ค๋ฅ ์ฐ์ ์์๋ ํ๊ฐ ๋ฒ์ ๋ฐ์ด๋ค. ์ ํ์ฑ ์์ ์ ์ค์ ๋ชจ๋ธ ์๋๋0๊ฐ์ด๋ฉฐ ๊ธฐ์กด์ ๋ด์ธํ ๊ณ์ฝยท์ด๋ฒ ๋ค ์คํ์ ๋ฐ๊พธ์ง ์๋๋ค. ์ด ๊ฒ์ฆ์ฉ ๊ตฌํ๋ค์ ๋ชจ๋ธ ์คํ ๊ฒฐ๊ณผ๋ ๋ณ๋ golden ์์ฒญ ์๊ฐ ์๋๋ค.
์ fittingยท๋ณด์ ยท๊ฐ์ค์น ๋ฐฐํฌยทCodex ์ ์ฑ ํ์ฑํ๋ ํ์ง ์์๋ค. ๊ฒ์์ฉ ๋ณดํธ final2,402๊ฐ๋ ๊ณ์ ๋ฏธํ๊ฐ๋ค. ๋ค์ ์ค์ ์คํ์์๋ ์๋ก ๋ค๋ฅธ ์์ฒญยท์ ์ฅ์ยท๊ฐ์กฑ๊ณผ ์ฑ๊ณต/์คํจ ์ฐจ์ด๋ฅผ ํ๋ณดํด์ผ ํ๋ค. ์ด ํ ์์ฒญ์์ ๋ ํ๋กํ์ด ๋ชจ๋ ์ฑ๊ณตํ ๊ฒ๋ง์ผ๋ก ํ์ต ์ ํธ๋ ์ ๊ฐ ์ ์ฑ ์ ์์ฑํ๋ค๊ณ ํ๋จํ์ง ์๋๋ค.