File Catalogs 33 KO - teamswyg/laya-tools GitHub Wiki
์ค์ ์์ ์ ํ์ผ ๋ชฉ๋ก 2,400๊ฐ โ ์คํ 33
๊ณ ์ ํ 2,400๊ฐ ์์ ๋ชจ๋์ ์์ ์ ํ์ผ ๋ชฉ๋ก์ ํ๋ณดํ๋ค. ํฐ ์ ์ฅ์๋ฅผ ๋นผ๊ฑฐ๋ ํ์ผ์ ์๋ผ๋ด์ง ์์๋ค. ์ ๋ต ๊ฒฝ๋ก์ ๊ฒ์ ์คํ๊ธฐ๋ ๋ณ๋๋ก ์ค๋นํ์ง๋ง, ์ด ๋ฌธ์์ ๊ฒฐ๊ณผ๋ ํ๋ณด ํ๋ณด์ด๋ฉฐ ๊ฒ์ ํ์ง์ด๋ LLM ์ ๊ฐ ํจ๊ณผ๊ฐ ์๋๋ค.
์ ์ฒด ๊ฒฐ๊ณผ
| ํญ๋ชฉ | ๊ฒฐ๊ณผ |
|---|---|
| ์ ์ฒด / ํ๋ณด / ๋ฏธํ๋ณด ๋ฒ์ | 2,400 / 2,400 / 0 |
| ์ผ๋ฐ ํ์ผ ์ฐธ์กฐ / ์ฌ๋ณผ๋ฆญ ๋งํฌ ์ฐธ์กฐ | 8,039,516 / 5,300 |
| submodule ์ฐธ์กฐ | 743 |
| ๋ฒ์ ๋น ์ต๋ ํ์ผ ํ๋ณด | 30,223 |
| ๋ฒ์ ๋น ์ต๋ ํ์ผ ๊ฒฝ๋ก ๋ฐ์ดํธ ํฉ๊ณ | 2,838,643 |
| ๊ธฐ์กด 4,096๊ฐ ํ๋ณด ํ๋ ์ด๊ณผ ๋ฒ์ | 1,008 |
| ๊ธฐ์กด 2MiB ํ ์คํธ ํ๋ ์ด๊ณผ ๋ฒ์ | 5 |
ํ์ผ ์ฐธ์กฐ ํฉ๊ณ๋ ์ฌ๋ฌ ๊ณผ๊ฑฐ ๋ฒ์ ์ ๋ฐ๋ณตํด์ ๋ฑ์ฅํ๋ ํ์ผ์ ํฌํจํ๋ค. ๊ณ ์ ํ์ผ 800๋ง ๊ฐ๋ฅผ ํ๋ณดํ๋ค๋ ๋ป์ด ์๋๋ค. ์ฌ๋ณผ๋ฆญ ๋งํฌ๋ ๊ฒฝ๋ก๋ง ์ ์งํ๋ฉฐ submodule ๋์ ์ ์ฅ์๋ ํ์ํ์ง ์๋๋ค. AllSelectedCatalogsAvailable=true๋ ์ ํํ ์ ์ฅ์ ๋ด๋ถ์ ์์ ํ tree ๋ชฉ๋ก์ด๋ผ๋ ๋ฒ์๋ค. ์ ์ฅ์๋ณ ์ง๊ณ.
์คํ๊ณผ ๋ณต๊ตฌ
์๋ ๊ณํ์ ๊ณ ์ ํ๊ณ ๊ฐ์ 2,400๊ฐ ์ ํ ํด์๋ฅผ ์ฌ๊ณ์ฐํ๋ค. ์์ ์ root tree ID์ ๊ณ ์ ๋ ๋ชฉ๋ก๋ง ์ฝ์ผ๋ฉฐ ์์ค ๋ณธ๋ฌธ์ ๋ด๋ ค๋ฐ์ง ์๋๋ค. ์์ ์ฑยทIDยท์ข ๋ฅยท๊ฒฝ๋กยท์ค๋ณตยท๋ถ๋ชจ ๊ด๊ณ๋ฅผ ๊ฒ์ฆํ ๋ชฉ๋ก๋ง ์์ถ ์บ์๋ก ์์์ ์ผ๋ก ์ ์ฅํ๋ค.
์ฒซ ์คํ์ 2,000ํ ์์ฒญ ์์ฐ์์ 1,995๊ฐ ํ๋ณด๋ก ์ข ๋ฃํ๋ค. ์ฌ๊ฐ ์คํ์ 405ํ ์ ์์ฒญ์ผ๋ก 2,395๊ฐ์ ๋๋ฌํ๋ค. ๋จ์ Babel 5๊ฐ๋ ๋จ์ผ ์๋ต์ ๋ก์ปฌ 8MiB ์ํ์ ์ด๊ณผํ๋ค. 5ํ ์ง๋จ ์์ฒญ์ผ๋ก ์์ธ์ ํ์ธํ ๋ค, ์ฌ์ ๊ณ ์ ํ ํ์ ํธ๋ฆฌ ๋ณต๊ตฌ ๊ณํ์ ๋ฐ๋ผ 763ํ ์์ฒญ์ผ๋ก ๋ชจ๋ ๋ณต๊ตฌํ๋ค. ๋ณต๊ตฌ ๋ฐฉ์๊ณผ ์กฐ๊ฑด.
ํฐ ์๋ต์ ์ผ๋ถ๋ง ๋ฐ์ ์ฑ๊ณต์ผ๋ก ํ์ํ์ง ์๋๋ค. ๋ชจ๋ ์์์ด ๊ฒ์ฆ๋ ๊ฒฝ์ฐ์๋ง ์์ฑ๋ root๋ฅผ ์ ์ฅํ๋ค. ๋คํธ์ํฌ 8MiB, ๋น์ฌ๊ท ๊ฒ์ฆ 2MiB, ์ ์ฒด 100,000ํญ๋ชฉยท๊ฒฝ๋ก ํฉ๊ณ 16MiB๋ฅผ ์ ์งํ๊ณ ์กฐ๋ฆฝ๋ ์บ์์ ํด์ ํ ์ํ์ 32MiB๋ก ๊ตฌ๋ถํ๋ค. ์ผ๋ฐ ์ค๋ฅ๋ ์์๋ ์บ์๋ฅผ ๋ณต๊ตฌ ๊ฒฝ๋ก๋ก ์จ๊ธฐ์ง ์๋๋ค.
# ์์ฒ projection๊ณผ ๊ณ ์ root ์บ์๋ฅผ ๋จผ์ ์ค๋นํ๋ค.
go run ./cmd/riido-filecatalog --request-budget 2000 --out .cache/catalog-pass-1
# ์บ์๋ฅผ ์ ์งํ๋ฉด์ ์ ์ถ๋ ฅ ๋๋ ํฐ๋ฆฌ๋ก ๋จ์ ํญ๋ชฉ์ ์ด์ด ๋ฐ๋๋ค.
go run ./cmd/riido-filecatalog --repair-subtrees --request-budget 1500 --out .cache/catalog-pass-2
# ๋คํธ์ํฌ ์์ด ์์ฑ๋ ์บ์๋ฅผ ๊ฒ์ฆํ๋ค.
go run ./cmd/riido-filecatalog --offline --out .cache/catalog-replay
GitHub CLI ์ธ์ฆ๊ณผ API ์์ฌ๋์ ํ์ธํ๊ณ ์์ฒญ ์์ฐ์ ์กฐ์ ํ๋ค. ์ถ๋ ฅ ๋๋ ํฐ๋ฆฌ๋ ์๋ก ๋ง๋ค์ด์ผ ํ๋ค. ์์ฒ์ ์คํ 28, ๊ณ ์ ์ ํ์ ์คํ 29๋ฅผ ๋ฐ๋ฅธ๋ค. failures.json๊ณผ ์บ์๋ ์์ฒ ์๋ณ์ยท๋ก์ปฌ ์ค๋ฅ ๋ฑ์ ํฌํจํ๋ฏ๋ก Git/HF์ ์ฌ๋ฆฌ์ง ์๋๋ค.
ํจ๊ป ์ค๋นํ ํ๊ฐ ๊ฒฝ๋ก
- ์ ์ฒด ํ๋ณด์ฉ Go ๊ฒ์๊ณผ ํ๋กํ์ผ ๊ฐ์ : ์ต๋ 100,000๊ฐ ํ์ผ, ์ ์ฒด BM25 ํต๊ณ, ํ๋ณด๋ฅผ ์์ง ์๋ baseline-first ๋ณํฉ. ์์ API์ ํ๋๋ ์ ์งํ๋ค.
- ์ ๋ต ๋ถ๋ฆฌ: 2,398๊ฐ ์์ ์ ๊ธฐ์กด ํ์ผ ๊ฒฝ๋ก๊ฐ ์๊ณ , 2๊ฐ๋ ์ ํ์ผ๋ง ์ถ๊ฐํ๋ค. ์ ๋ต์ ๊ฒ์ ์ ๋ ฅยทํ๋ณด ์์ฑยทํ์ต์ ์ฐ์ง ์๋๋ค.
๊ณต๊ฐ๋๋ ๊ฒ์ ์์ฒด ์ฝ๋ยท๊ณํยท์ง๊ณ๋ฟ์ด๋ค. ์ ํ์ต, ๋ชจ๋ธ ๋ฐฐํฌ, ๊ธฐ๋ณธ ํ์ฑํ๋ ์์ผ๋ฉฐ ๊ธฐ์กด ์ต์ข ์๋น ์๋ฃ๋ ์ฌ์ฉํ์ง ์์๋ค. ๋ค์ ์คํ์ ์ค์ ํ์ผ ๋ชฉ๋ก์์ ๊ณ ์ ๋ ๊ฒ์ ์ ์ฑ ์ ๋น๊ตํ๋ ๊ฒ์ด๋ค.
๊ฒ์ฆ๊ณผ ์์
์์ง ๊ฒฐ๊ณผ์ ์ผ๋ฐ ์คํ๋ผ์ธ ์ฌ์คํ, ์ค์ 2,400๊ฐ race ์คํ์ ๊ณต๊ฐ ์ง๊ณยท๋น๊ณต๊ฐ ์คํจ ๋ชฉ๋ก์ด ๋ชจ๋ ๋ฐ์ดํธ ์ผ์นํ๋ค. ์ ์ฒด 2,400๊ฐ ๊ฐ์ฉ์ฑ๊ณผ ์ ์ฅ์๋ณ ํฉ๊ณ ๋ณด์กด๋ ํ์ธํ๋ค. ์ ์ฒด Go race/vetยทํ์ยทredacted ๊ฒ์ฌ ๋ฐ Linux/macOS CI๋ฅผ ๊ฑฐ์ณ ๋ณํฉํ๋ค.
๋์ race ๊ฒ์ฌ๊ฐ ๋๋ ๋ค ๋ณ๋๋ก ์ธก์ ํ M4 Pro CPU ์บ์ ๊ฒ์ฆ 1ํ๋ wall 12.16์ด/user 12.62์ด/sys 0.61์ด, ์ต๋ RSS 46,333,952๋ฐ์ดํธ(์ฝ 44.2MiB)์๋ค. ์ต์ด ๋คํธ์ํฌ ์์งยท๊ฒ์ ์ธ๋ฑ์คยท๋ชจ๋ธยทGPU ๋น์ฉ์ ๋ปํ์ง ์๋๋ค.
์์ถ recursive/์กฐ๋ฆฝ ์บ์๋ 3,143๊ฐ ๊ฐ์ฒดยท320,112,467๋ฐ์ดํธ, ๋น์ฌ๊ท tree ์บ์๋ 10๊ฐยท223,221๋ฐ์ดํธ๋ค. ํฉ๊ณ 320,335,688๋ฐ์ดํธ(์ฝ 305.5MiB)๋ ์ด ๋ ์บ์์ ๋ ผ๋ฆฌ์ ํ์ผ ํฌ๊ธฐ๋ง ํฉํ ๊ฐ์ด๋ฉฐ, root ์บ์ยท์์ฒ Parquetยท๋ชจ๋ธ ๋ฑ ์ ์ฒด ์์ ๊ณต๊ฐ ์ฉ๋์ ์๋๋ค. ํ์ tree๊ฐ ๊ณต์ ๋๋ฏ๋ก ์บ์ ๊ฐ์ฒด ์์ ํ๊ฐ ์์ ์๋ ๋ค๋ฅด๋ค.
Follow-up / ํ์: Completed evaluation 34 / ์ค์ ํ๊ฐ ์๋ฃ.