File Labels 33 KO - teamswyg/laya-tools GitHub Wiki
๊ฒ์ ์ ๋ ฅ๊ณผ ๋ถ๋ฆฌํ ์์ ์ ํ์ผ ์ ๋ต
์คํ 28์์ ๊ณ ์ ํ ๋ Parquet ์์ฒ์์ instance_id์ patch๋ง ๋ณ๋ ์ถ์ถํ๋ค. ์ฌ์ ๊ณํ์ ๋ฐ๋ผ ์ ๋ต์ ํ๊ฐ ์ ์ฉ์ด๋ฉฐ, ์์ฒญยทํ๋ณด ์์ฑยทํํธ ํน์งยทํ์ต์ ๋ฃ์ง ์๋๋ค. ํ์ผ ๋ชฉ๋ก ์์ง์ ํจ์น๋ฅผ ์ฝ์ง ์๋๋ค.
| ์ ์ฒด 2,400๊ฐ ์ ํ ์์ | ๊ฒฐ๊ณผ |
|---|---|
| ํ์ฑ ์คํจ / ๋ฏธ์ง์ ๋ธ๋ก | 0 / 0 |
| ๊ธฐ์กด ํ์ผ ๊ฒฝ๋ก๊ฐ ์๋ ์์ | 2,398 |
| ๊ธฐ์กด ํ์ผ ๊ฒฝ๋ก๊ฐ ์๋ ์์ | 2 |
| ๊ธฐ์กด ๊ฒฝ๋ก ํฉ๊ณ / ์์ ๋น ์ต๋ | 3,912 / 30 |
| ์ ํ์ผ ๋ธ๋ก / ์ค๋ณต ๊ฒฝ๋ก | 64 / 0 |
๊ธฐ์กด ๊ฒฝ๋ก๊ฐ ์๋ 2๊ฐ๋ ๊ฐ๊ฐ ์ ํ์ผ ํ๋๋ง ์ถ๊ฐํ๋ ์์ ์ด๋ค. ์ด๋ค์ ๋ค๋ฅธ ์์ ์ผ๋ก ๊ต์ฒดํ๊ฑฐ๋ ๋ถ๋ชจ์์ ์ง์ฐ์ง ์๋๋ค. ์ค์ ํ๊ฐ ์ ์ฑ ์์ ๊ธฐ์กด ํ์ผ ์ฐพ๊ธฐ์ ์ ์ฉ ๋ฒ์์ ์ ์ฒด 2,400๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๊ตฌ๋ถํด์ผ ํ๋ค. ๊ณต๊ฐ ์ง๊ณ์๋ ๊ฒฝ๋กยท์์ ์๋ณ์ยทํจ์น ๋ณธ๋ฌธ์ ๋ฃ์ง ์์๋ค.
Go ํ์๋ hunk ์ด์ ์ ์ด์ ํ์ผ ํค๋, ์ด๋ฆ ๋ณ๊ฒฝ ๋ฉํ๋ฐ์ดํฐ, ํด์์ด ๋ช
ํํ ๋ฐ์ด๋๋ฆฌ/๋ชจ๋ ๋ณ๊ฒฝ ํค๋์์ ๊ฒฝ๋ก๋ฅผ ์ฝ๋๋ค. /dev/null์ ์ ํ์ผ๋ก ๊ตฌ๋ถํ๋ค. ๋ณธ๋ฌธ ์ ๊ฐ์ง ํค๋๋ ๋ผ๋ฒจ๋ก ์ทจ๊ธํ์ง ์์ผ๋ฉฐ, ๊ณต๋ฐฑยท๋ฐ์ดํยทGit์ ์ด์ค์ผ์ดํ ๊ฒฝ๋ก์ ํ๊ธ์ ์ฒ๋ฆฌํ๋ค. ๋ชจํธํ๊ฑฐ๋ ์๋ชป๋ ๊ฒฝ๋ก๋ฅผ ์ถ์ธกํ์ง ์๋๋ค. ์ด๋ ๊ฒฝ๋ก ๋ฉํ๋ฐ์ดํฐ ํ์์ด๋ฉฐ ํจ์น๋ฅผ ์ ์ฉํ ์ ์๋์ง ๊ฒ์ฆํ๋ ์ ์ฒด Git ๋ฌธ๋ฒ ๊ฒ์ฌ๊ธฐ๋ ์๋๋ค. ๋ณ๊ฒฝ ํ์ผ๋ ์ ๋ต ๊ด๋ จ ํ์ผ์ ์์ ํ ๋ชฉ๋ก์ด๋ ์์
๋์ด๋ยทํด๊ฒฐ ์ฑ๊ณตยท๋ถํ ๊ฐ๋ฅ์ฑ์ ์ ๋ต์ ์๋๋ค.
์๋ฌธ ํจ์น ์ต๋ 2MiB, ์๋ ๊ฒฝ๋ก ์ต๋ 4,096๋ฐ์ดํธ๋ฅผ ์ ์ฉํ๋ค. ํ์ผ์ ์ด๊ฑฐ๋ ํจ์น๋ฅผ ์คํํ์ง ์๋๋ค. ๊ฒฝ๋ก๋ฅผ ๋ณ๋ ๋ณต์ฌํด ์งง์ ๋ฌธ์์ด ๋๋ฌธ์ ์ ์ฒด ํจ์น ๋ฉ๋ชจ๋ฆฌ๊ฐ ์ ์ง๋์ง ์๊ฒ ํ๋ค. ์ฝ๊ธฐ ๋จ๊ณ์์ projection SHA-256, ํ๋ ํ์ฉ ๋ชฉ๋ก, ID ์ค๋ณตยทํ ์๋ฅผ ํ์ธํ๋ค. ์คํจ ํ๋ ๋ณด์กดํ๋ค.
Parquet ๋ณํ์ ๊ธฐ์กด PyArrow๋ฅผ ์ฐ๋ ๊ด๋ฆฌ์ฉ ๋๊ตฌ๋ฟ์ด๋ฉฐ Go ์คํ ๊ฒฝ๋ก์๋ Python์ด ํ์ ์๋ค. ๋ณํ๊ธฐ๋ ์์ฒ ํด์ยทํ ์ยท์ด ํ์
์ ํ์ธํ๊ณ 0600 ์ ํ์ผ๋ง ์์ฑํ๋ค. ์ง๋ฌธ์ด๋ ์คํ ์คํฌ๋ฆฝํธ๋ ์ด projection์ ํฌํจํ์ง ์๋๋ค. ์๋ฌธ๊ณผ labels.json์ ๋ก์ปฌ์๋ง ๋ณด๊ดํ๋ค.
go run ./cmd/riido-filelabels --out .cache/file-labels-new
๊ณ ์ ๋ ์์ฒญ projection๊ณผ ๋ณ๋ ํจ์น projection์ด ํ์ํ๋ค. ์ ๋๋ ํฐ๋ฆฌ์ ๊ณต๊ฐ ๊ฐ๋ฅํ results.json๊ณผ ๋น๊ณต๊ฐ labels.json์ ๊ตฌ๋ถํด ์ด๋ค. ๋ ์ถ๋ ฅ ๋ชจ๋ ์ฌ์คํ์์ ๋ฐ์ดํธ ์ผ์นํ๋ค. ํจ์น ํค๋/๋ณธ๋ฌธ ๋ถ๋ฆฌ, ์ ํ์ผยท์ด๋ฆ ๋ณ๊ฒฝยท๋ฐ์ด๋๋ฆฌยทํ๊ธยท์ค๋ณตยท์๋ชป๋ ๊ฒฝ๋ก์ schema/hash ๊ฒ์ฌ๋ฅผ ํ
์คํธํ๋ค. ๊ด๋ฆฌ์ฉ ๋ณํ๊ธฐ์ ํ๋ ๊ฒฉ๋ฆฌยท๊ถํยท๋ฎ์ด์ฐ๊ธฐ ๋ฐฉ์ง ํ
์คํธ๋ ํต๊ณผํ๋ค. ์ด ๊ด๋ฆฌ์ฉ ํ
์คํธ๋ ๋ก์ปฌ PyArrow ํ๊ฒฝ์์ ์ํํ๋ฉฐ CI์ ์ PyArrow ์์กด์ฑ์ ์ถ๊ฐํ์ง ์์๋ค.
์์ง ์ค์ ํ์ผ ํ๋ณด์ ์ ๋ต์ ๋์กฐํ๊ฑฐ๋ ์์๋ฅผ ํ๊ฐํ์ง ์์๋ค. ์์ฒ ๋ชฉ๋ก์ ๋ชจ๋ ํ๋ณดํ์ผ๋ฉฐ ์ฌ์ ๊ณ ์ ํ ํ์ ํ๊ฐ ๊ท์น์ ๋ฐ๋ผ ๋น๊ตํ ์์ ์ด๋ค. ๊ธฐ์กด ์๋น ํ๊ฐ์ ๊ณผ ๋ชจ๋ธ์ ๋ณ๊ฒฝํ์ง ์์๋ค.