Training Scope 41 KO - teamswyg/laya-tools GitHub Wiki
ํ์ ์ซ์ ๋ชจ๋ธ์ ํ์ต ๋ฒ์์ ์ ๋ ฅ ๊ณ์ฝ โ ์คํ 41
์ค์ ํ์ผ ๊ฒ์์ฉ ์ซ์ ๋ชจ๋ธ์ ์ ๋ ฅ 16๊ฐ๋ฅผ ๊ณ ์ ํ๊ณ , ๊ธด ์ง๋ฌธยทํฐ ํ๋ณด ๋ชฉ๋ก์ ์ฒ๋ฆฌํ๋ ๋ณ๋ Go ๊ฒฝ๋ก๋ฅผ ์ถ๊ฐํ๋ค. ๊ธฐ์กด ๊ธฐ๋ณธ API ํ๋๋ ์ ์งํ๋ค. ์ด๋ฒ ๋จ๊ณ๋ ์ ๋ ฅ ๊ณ์ฝ๊ณผ ์ด์ฉ ๋ฒ์ ์ ๋ฆฌ์ด๋ฉฐ ์ค์ ์ ๋ชจ๋ธ ํ์ต์ด๋ ๋ฒ์ ์ผ๊ด ์น์ธ, HF ๋ฐฐํฌ๊ฐ ์๋๋ค.
๋ฒ์ ๊ณํ๊ณผ ํน์ง ๊ณํ์ ๊ตฌํ ์ ์ ์ปค๋ฐํ๋ค. ํ์ ํ์ต์ ์ถ๋ก ์ ๊ณ์ฐ ๊ฐ๋ฅํ ์ซ์๋ฅผ ์ฌ์ฉํด ๋ณด์กฐ ๊ฒ์์ด ๋์์ด ๋ ๊ฐ๋ฅ์ฑ์ ์ ์ํ๋ ๋ชฉ์ ์ด๋ค. ๊ฒฐ์ ์ ๊ฐ์ ํ๊ฑฐ๋ ํ๋ณด๋ฅผ ์ญ์ ํ๋ ๋ชจ๋ธ์ด ์๋๋ค.
์ถ์ฒ์์ ํ์ธํ ์ฌ์ค๊ณผ ๋จ์ ์กฐ๊ฑด
๊ณต์ SWE-bench ๊ณ ์ README๋ ์ ์ฒ๋ฆฌ ์๋ฃ๋ฅผ ์ด์ฉํ ํ์ต์ ์๋ดํ๊ณ MIT๋ฅผ ํ๊ธฐํ๋ค. ์ค์ LICENSE์ ๊ณ ์ ํ์ต ์นด๋ยทParquetยท์์ ๋ชฉ๋ก์ ํด์๋ฅผ ์ฌ๊ฒ์ฆํ๋ค. ๊ทผ๊ฑฐ ๋ชฉ๋ก.
ํํ GitHub ์ฝ๊ด D.6์ ์ ์ฅ์ ๋ผ์ด์ ์ค ์๋ ๊ธฐ์ฌ์ ๋ณ๋ ๊ณ์ฝ์ ์ฐ์ ์ ์ฉ์ ์ค๋ช ํ๋ค. GitHub ์์ ์๊ฒ ์ฃผ์ด์ง AI ํ์ต ๊ถ๋ฆฌ๋ฅผ ์ฐ๋ฆฌ ๊ถ๋ฆฌ๋ก ๊ฐ์ ธ์ค์ง ์์ผ๋ฉฐ, ํํ ์กฐํญ์ ๊ณผ๊ฑฐ ์ด์ ์ ๋ถ์ ๊ถ๋ฆฌ ์ฆ๋ช ์ผ๋ก ์๊ธํ์ง ์๋๋ค.
์ด๋ ์นด๋์ ๋น ๋ผ์ด์ ์ค ํ๋๋ง์ผ๋ก ํ์ต ๊ธ์ง๋ฅผ ๋จ์ ํ ๊ทผ๊ฑฐ๊ฐ ์๋ค๋ ํ๋จ์ ๋ท๋ฐ์นจํ๋ค. ๋ค๋ง ๊ฐ ์ ์ ์ฅ์/์์ฑ์์ ์กฐ๊ฑด์ ์ผ๊ด ๋์ ํ์ง ์๋๋ค. Prefect์ ๋ฌธ์ ๋ ๊ณผ๊ฑฐ ์์ ์ README๊น์ง ํ์ธํ์ผ๋ ํ๊ฐ ๋ฌธ๊ตฌ๋ฅผ ์ฐพ์ง ๋ชปํ๋ค. ํ์ฌ Apache ๋ถ๋ฅ๋ก ์ด ๊ณต๋ฐฑ์ ๋ฉ์ฐ์ง ์๋๋ค. ์ README๋ฅผ ๋ณต์ฌยท๊ฒ์ํ์ง ์๊ณ ์ฐธ์กฐ์ ์๋ณ์๋ง ๋จ๊ธด๋ค.
์งํ ๋ฒ์
๊ธฐ๊ณ ํ๋ ์ ์ฑ ์ ๊ธฐ์ ์ ์งํ ํ๋จ๊ณผ ๊ถ๋ฆฌ ํ์ธ์ ๋ถ๋ฆฌํ๋ค.
| ๋์ | ์ด๋ฒ ํ๋จ |
|---|---|
| ๊ณ ์ ๊ฐ๋ฐ ์๋ฃ์ ๊ฒ์ฌยท์ซ์ ์ ๋ ฅ ๊ตฌํ | ์งํ |
| ์์ฒด ์ซ์ ํค๋์ ๋ก์ปฌ ํ์ต | ์ถ์ฒ ์ ๊ฒฉ์ฑ๊ณผ ์ฌ์ ์คํ ๊ท์น์ ํ์ธํ ์๋ฃ์ ํํด ์งํ ๊ฐ๋ฅํ ๋ฒ์๋ก ์ ์; ์์ง ์ ํ์ต ์คํ ์ |
| ๊ถ๋ฆฌ๊ฐ ๋ฏธํ์ธ/์ถฉ๋ํ๋ ์์ | ๋ฏธํ์ธ ์ํ ์ ์ง, ํ์ต ๊ฐ๋ฅ์ผ๋ก ์กฐ์ฉํ ๋ฐ๊พธ์ง ์์ |
| ์ด์ยท์ฝ๋ยทํจ์น ์๋ฌธ ์ฌ๋ฐฐํฌ | ์น์ธํ์ง ์์ |
| ์๋ฌธ ์์ฑ ๋ชจ๋ธ/์ ์ธ์ฝ๋ ํ์ธํ๋ | ์ด ์ข์ ๊ฒํ ์ ๋ฒ์ ๋ฐ |
| ์ ๋ชจ๋ธ์ HF ๊ณต๊ฐยท๊ธฐ๋ณธ ํ์ฑํ | ๋ณ๋ ์ถ์ฒ/์ฐ์ถ๋ฌผ/ํ์ง ๊ฒ์ฆ ์ ์น์ธํ์ง ์์ |
์ญํ ์์์ ํ์ต 7,335๊ฐยท๊ฒ์ฆ 5,686๊ฐยท์ต์ข 2,402๊ฐ ๊ทธ๋๋ก๋ค. ๊ถ๋ฆฌยท๋ชฉ๋กยท์ ๋ต ๋ฏธํ๋ณด๋ฅผ ์ด์ ๋ก ํ์ ๋ถ๋ชจ์์ ์ง์ฐ๊ฑฐ๋ ๋ค๋ฅธ ์ญํ ๋ก ์ฎ๊ธฐ์ง ์๋๋ค. ํ์ต์์ ์ ์ธ๋๋ ๊ฒฝ์ฐ์๋ ๋ชจ๋ธ ๊ฒฐ๊ณผ๋ฅผ ๋ณด๊ธฐ ์ ์ ์ด์ ๋ฅผ ๊ธฐ๋กํ๋ค. CI๋ ๊ธฐ์ ๊ฒ์ฆ ๊ด๋ฌธ์ด๋ฉฐ ๋ชจ๋ ๊ถ๋ฆฌ์ ๋ํ ๋ฒ์ ๋ณด์ฆ์ด ์๋๋ค.
Go ์ ๋ ฅ ๊ณ์ฝ
์ searchclaim.PathFeatures๋ riido-path-claim-v1 ์ ์ฉ API๋ค. 128KiB๊น์ง์ ์ ํจํ UTF-8 ์ง๋ฌธ๊ณผ ์ต๋ 100,000๊ฐ ๊ฒฝ๋ก ํ๋ณด์ ๊ธฐ๋ณธ ๊ฒ์ ์ ์๋ฅผ ๋ฐ๋๋ค. ๊ธฐ์กด Features์ 8KiB/4,096๊ฐ ํ๋์ ScoreSpread์ 4,096๊ฐ ํ๋๋ ์ ์งํ๋ค.
16๊ฐ๋ ๊ธฐ์กด 12๊ฐ ์ซ์์ ์์ 20๊ฐ ์ ์ ๋ถํฌ 4๊ฐ๋ค: ์์, ๋จ์ด/๋ฐ์ดํธ ์, ๋๋ฌธ์ยท์ซ์ยท๋ฐ์ค ๋น์จ, ๋จ์ด๋น camel ๊ฒฝ๊ณ, ๊ณ ์ ๋จ์ด ๋น์จ, ์์ ์ ์ยท์ ์ ์ฐจ์ด, ์์ 10๊ฐ/์ ์ฒด ์์ ์ ์ ๋น์จ, ์์ 20๊ฐ ์๋ ํ๊ท ยทํ์คํธ์ฐจยท์ฒซ ์ ์ ์ ์ ์จยท๋ง์ง๋ง/์ฒซ ์ ์ ๋น๋ค. ๋ชจ๋ ๊ฐ์ ์ ํํ [0,1]์ด๋ค. ๊ธด ์ง๋ฌธ์ ๋ฐ์ดํธ ํน์ง์ ๊ธฐ์กด 8KiB ์ค์ผ์ผ์์ 1๋ก ํฌํํ๋ฉฐ ์ ์ง๋ฌธ์ ์๋ผ๋ด์ง ์๋๋ค.
์ ๋ต ๊ฒฝ๋กยท์ ๋ต ์์ยท๋ณด์กฐ ๊ฒ์ ๊ฒฐ๊ณผยท์ ์ฅ์ ID๋ ํจ์ ์ ๋ ฅ์ ์๋ค. ๋จ์ด/๊ฒฝ๋ก์ ์๋ณ์๋ฅผ ๋ชจ๋ธ ํน์ง์ผ๋ก ๋๊ธฐ์ง ์๋๋ค. ๊ธฐ๋ณธ ๊ฒ์ ์ธ๋ฑ์ค๊ฐ ์์ฑํ ์์๋ฅผ ์ ์ ๋ก ํ๋ฉฐ, ์ด ํจ์๊ฐ ์์ ์ธ๋ถ ์์ด ์ ์ฒด๋ฅผ ์ธ์ฆํ๋ ๊ฒ์ ์๋๋ค. ์ ๊ฒฝ๋ก๋ฅผ ๋ง๋ค์๋ค๊ณ ์ด์ ๋๋ฉ์ธ์ ๊ฐ์ค์น๋ฅผ ์๋ ์ ์ฉํ์ง ์๋๋ค.
ํฉ์ฑ ๊ฒ์ฌ์์ ์งง์ ์ ๋ ฅ์ 16๊ฐ ๊ฐ์ด ๊ธฐ์กด ๋ ํจ์ ์กฐํฉ๊ณผ ์ ํํ ์ผ์นํ๊ณ , ๊ธด ํ๊ธ ์ง๋ฌธ/10,000๊ฐ ์ ์, 128KiB/100,000๊ฐ ๊ฒฝ๊ณ, ์๋ชป๋ UTF-8ยท์ ์ยท๋ฒ์, ํธ์ถ์ ๋ฐฐ์ด ๋ณด์กด์ ํ์ธํ๋ค. ์ ์ฒด race/vet/ํ์/redacted scan์ ํต๊ณผํ ๋ค ๊ณต๊ฐํ๋ค. ์์ง๊ณผ ๋์ ์งํํ์ผ๋ฏ๋ก ์๊ฐยท๋ฉ๋ชจ๋ฆฌ ๊ฐ์ ์ด๋ SIMD ํจ๊ณผ๋ฅผ ์ฃผ์ฅํ์ง ์๋๋ค.
๋ค์ ํ์ต ์ ์๋ ์ถ์ฒ ์ ๊ฒฉ์ฑ ํ, ๋น์ฉ ๋ชฉํ, ๊ธฐ์ค์ , ์ด๊ธฐ๊ฐ, ์์ ์์ฐ ๋ฐ ๊ฒ์ฆ ์ ํ ๊ท์น์ ๊ณ ์ ํ๋ค. FP32์์ ์ ์ฉํ ์ ํธ๋ฅผ ๋จผ์ ํ์ธํ๊ณ 3์ง ๋ณํ์ ๋ ๋ฆฝ ์ธก์ ํ๋ค. ์ต์ข ํ๊ฐ๋ฅผ ๋ฐ๋ณตํด์ ๋ณด๋ฉฐ ํ๋ํ์ง ์๋๋ค. ํ์ฌ ์ค์ ๋น์ฉ ์ ๊ฐ๊ณผ ๋ชจ๋ธ ์ ์ฉ์ฑ์ ์ฌ์ ํ ๋ฏธ์ ์ฆ์ด๋ค.