Development Join 40 KO - teamswyg/laya-tools GitHub Wiki

๊ฐœ๋ฐœ ์ •๋‹ต๊ณผ ์ˆ˜์ • ์ „ ํŒŒ์ผ ๋ชฉ๋ก ์—ฐ๊ฒฐ โ€” ์‹คํ—˜ 40

ํ™•๋ณด๋œ ํŒŒ์ผ ๋ชฉ๋ก 1,273๊ฐœ ์ค‘ ๊ธฐ์กด ํŒŒ์ผ ์ •๋‹ต์ด ์žˆ๋Š” 1,267๊ฐœ๋ฅผ ๊ฒ€์‚ฌํ–ˆ์œผ๋ฉฐ, ์ •๋‹ต ๊ฒฝ๋กœ 4,841๊ฐœ๊ฐ€ ๋ชจ๋‘ ํ•ด๋‹น ์‹œ์ ์˜ ์ผ๋ฐ˜ ํŒŒ์ผ๊ณผ ์—ฐ๊ฒฐ๋๋‹ค. ์ „์ฒด 13,021๊ฐœ ์ค‘ 11,748๊ฐœ๋Š” ์•„์ง ๋ชฉ๋ก์ด ์—†์–ด ๋ฏธ๊ฒ€์ฆ์ด๋‹ค. ์ด๋Š” ์ •๋‹ต๊ณผ ํ›„๋ณด ๋ชฉ๋ก์˜ ์—ฐ๊ฒฐ ๊ฒ€์‚ฌ์ด๋ฉฐ ๊ฒ€์ƒ‰ ์ •ํ™•๋„ยทํ•™์Šตยท๋ชจ๋ธ ํ’ˆ์งˆ ๊ฒ€์ฆ์ด ์•„๋‹ˆ๋‹ค.

๊ณ„ํš์„ ๊ณ ์ •ํ•œ ๋’ค ์‹คํ—˜ 38์˜ ์ฒซ ์žฌ๊ฐœ ์‹คํ–‰์ด ์ƒˆ ์š”์ฒญ 2,000ํšŒ์—์„œ ์ •์ƒ ์ข…๋ฃŒ๋  ๋•Œ๊นŒ์ง€ ๊ธฐ๋‹ค๋ ธ๋‹ค. ๊ธฐ์กด ํ‘œ๋ณธ/์ฒซ ๋ฐฐ์น˜ ์บ์‹œ๋ฅผ ํฌํ•จํ•œ ์ˆ˜์ง‘ ์ฒดํฌํฌ์ธํŠธ๋Š” ๋ฃจํŠธยท์ „์ฒด ๋ชฉ๋ก 1,273๊ฐœ, ๋ผ์ด์„ ์Šค ํ›„๋ณด ๋ณธ๋ฌธ์ด ์žˆ๋Š” ์‹œ์  1,261๊ฐœ๋‹ค. ํ›„๋ณด ๋ณธ๋ฌธ์ด ์žˆ๋‹ค๋Š” ์‚ฌ์‹ค์€ ๋ผ์ด์„ ์Šค ์Šน์ธ์ด ์•„๋‹ˆ๋‹ค. ์ˆ˜์ง‘ ๊ฒฐ๊ณผยท๋น„๊ณต๊ฐœ ๊ฐ์ฒด ๋ชฉ๋กยท์‹คํŒจ ๋ชฉ๋ก์„ ๋„คํŠธ์›Œํฌ ์—†๋Š” ์žฌ์‹คํ–‰์œผ๋กœ ์žฌํ˜„ํ–ˆ๋‹ค.

์—ฐ๊ฒฐ ๊ฒ€์‚ฌ๋Š” ๊ณ ์ •๋œ ํ•™์Šต 7,335๊ฐœยท๊ฒ€์ฆ 5,686๊ฐœ ์ „์ฒด๋ฅผ ์ˆœํšŒํ•œ๋‹ค. ์ตœ์ข… 2,402๊ฐœ์™€ ๋ฏธ์„ ํƒ ํ˜•์ œ ์ž‘์—…์„ ์ œ์™ธํ•˜๊ณ , ์‹คํ—˜ 39์˜ ๊ณ ์ • ์›๋ฌธ ํˆฌ์˜ ํ•ด์‹œ๋ฅผ ๋จผ์ € ๊ฒ€์ฆํ•œ๋‹ค. ์ •๋‹ต์„ ์–ป์ง€ ๋ชปํ•œ ์ž‘์—…์ด๋‚˜ ๋ชฉ๋ก์ด ์—†๋Š” ์ž‘์—…์„ ์กฐ์šฉํžˆ ์ œ๊ฑฐํ•˜์ง€ ์•Š๋Š”๋‹ค.

์ด ์ฒดํฌํฌ์ธํŠธ์˜ ์—ฐ๊ฒฐ ๊ฒฐ๊ณผ ์ˆ˜๋Ÿ‰
์ „์ฒด ๊ฐœ๋ฐœ ์ž‘์—… 13,021
์™„์ „ํ•œ ์ˆ˜์ • ์ „ ๋ชฉ๋ก ํ™•๋ณด 1,273
๋ชฉ๋ก ๋ฏธํ™•๋ณด 11,748
์ „์ฒด ๊ฐœ๋ฐœ ์ž๋ฃŒ์˜ ์ง€์› ํ˜•์‹ ๊ธฐ์กด ๊ฒฝ๋กœ ์ •๋‹ต ์ž‘์—… 12,669
๋ชฉ๋ก๊ณผ ์ •๋‹ต์ด ๋ชจ๋‘ ์žˆ์–ด ๊ฒ€์‚ฌํ•œ ์ž‘์—… 1,267
๊ฒ€์‚ฌํ•œ ๋ชจ๋“  ์ •๋‹ต์ด ํŒŒ์ผ ํ›„๋ณด์— ์—ฐ๊ฒฐ๋œ ์ž‘์—… 1,267
๊ฒ€์‚ฌํ•œ ๊ธฐ์กด ๊ฒฝ๋กœ / ์ผ๋ฐ˜ ํŒŒ์ผ ์—ฐ๊ฒฐ 4,841 / 4,841
๊ฒ€์‚ฌํ•œ ๊ฒฝ๋กœ ์ค‘ ๋ˆ„๋ฝยท๋””๋ ‰ํ„ฐ๋ฆฌยทํ•˜์œ„ ๋ชจ๋“ˆยท์‹ฌ๋ณผ๋ฆญ ๋งํฌ ๊ฐ๊ฐ 0
์ „์ฒด ์ž๋ฃŒ์˜ ํŒŒ์‹ฑ ์‹คํŒจ / ๊ธฐ์กด ๊ฒฝ๋กœ ์—†์Œ 294 / 58

์ €์žฅ์†Œ๋ณ„ ๊ฒฐ๊ณผ. 1,273โˆ’1,267=6๊ฐœ๋Š” ๋ชฉ๋ก์ด ์žˆ์ง€๋งŒ ์‚ฌ์šฉํ•  ๊ธฐ์กด ํŒŒ์ผ ์ •๋‹ต์ด ์—†๋Š” ์‚ฌ๋ก€๋‹ค. 294๊ฐœ์™€ 58๊ฐœ๋Š” ์ „์ฒด 13,021๊ฐœ ๊ธฐ์ค€์œผ๋กœ, ์ด 6๊ฐœ๋‚˜ ํ™•๋ณด๋œ 1,273๊ฐœ๋งŒ์˜ ์ˆ˜๋Ÿ‰์ด ์•„๋‹ˆ๋‹ค. ์ˆ˜์ง‘ ์ˆœ์„œ๋Š” ์—ญํ• /์ €์žฅ์†Œ/ID ์ˆœ์œผ๋กœ ๊ณ ์ •ํ–ˆ์œผ๋ฏ€๋กœ ํ˜„์žฌ ๋ถ€๋ถ„ ์ง‘ํ•ฉ์€ ๋ฌด์ž‘์œ„ ํ‘œ๋ณธ์ด๋‚˜ ์ „์ฒด ์„ฑ๋Šฅ์˜ ๋Œ€ํ‘œ ํ‘œ๋ณธ์ด ์•„๋‹ˆ๋‹ค.

Go๋Š” ๊ฒ€์ฆ๋œ ์ •๋ ฌ ๊ฒฝ๋กœ ๋ฐฐ์—ด์„ ์ด์ง„ ํƒ์ƒ‰ํ•œ๋‹ค. ์ผ๋ฐ˜ ํŒŒ์ผยท์‹คํ–‰ ํŒŒ์ผยท์‹ฌ๋ณผ๋ฆญ ๋งํฌยทํ•˜์œ„ ๋ชจ๋“ˆยท๋””๋ ‰ํ„ฐ๋ฆฌยท์—†๋Š” ๊ฒฝ๋กœ๋ฅผ ๊ตฌ๋ถ„ํ•œ๋‹ค. ๊ธฐ์กด ๊ฒ€์ƒ‰์˜ ํŒŒ์ผ๋ช… ํ›„๋ณด ์ •์˜์— ๋งž๊ฒŒ ์ผ๋ฐ˜ ํŒŒ์ผ๊ณผ ์‹ฌ๋ณผ๋ฆญ ๋งํฌ์˜ ์ด๋ฆ„์€ ํ›„๋ณด๋กœ ์ธ์ •ํ•˜์ง€๋งŒ, ๋งํฌ ๋Œ€์ƒ์„ ์ฝ๊ฑฐ๋‚˜ ๋”ฐ๋ผ๊ฐ€์ง€ ์•Š๋Š”๋‹ค. ํ•˜์œ„ ๋ชจ๋“ˆ๊ณผ ๋””๋ ‰ํ„ฐ๋ฆฌ๋ฅผ ์ผ๋ฐ˜ ํŒŒ์ผ ์ •๋‹ต์œผ๋กœ ๋ฐ”๊พธ์ง€ ์•Š๋Š”๋‹ค. ์ •๋‹ต ํŒŒ์‹ฑ ์‹คํŒจยท์ง€์›ํ•˜์ง€ ์•Š๋Š” ๋ธ”๋กยท๊ธฐ์กด ์ •๋‹ต ์—†์Œ์€ ์™„์ „ ์—ฐ๊ฒฐ ์„ฑ๊ณต์ด ๋  ์ˆ˜ ์—†๋‹ค.

์บ์‹œ ํŒ๋…์— ์‚ฌ์šฉํ•˜๋Š” ์ฝœ๋ฐฑ์€ ๋„คํŠธ์›Œํฌ๋ฅผ ํ˜ธ์ถœํ•˜์ง€ ์•Š๋Š”๋‹ค. ์บ์‹œ๊ฐ€ ์—†์„ ๋•Œ๋งŒ ๋ช…์‹œ์  ๋ฏธํ™•๋ณด๋กœ ์ฒ˜๋ฆฌํ•œ๋‹ค. ์†์ƒ๋œ ์••์ถ•/JSONยท์‹๋ณ„์ž ๋ถˆ์ผ์น˜ ๋“ฑ์€ ์‹คํ–‰์„ ์ค‘๋‹จํ•˜๋ฉฐ ๋ฏธ์ˆ˜์ง‘์œผ๋กœ ๋ฎ์ง€ ์•Š๋Š”๋‹ค. ๊ธฐ์กด ๋ฃจํŠธ 2MiB, ์ €์žฅ ์นดํƒˆ๋กœ๊ทธ 32MiB, 100,000ํ•ญ๋ชฉ/16MiB ๊ฒฝ๋กœ ๋ฐ ํŒจ์น˜ ํ•œ๋„๋ฅผ ์œ ์ง€ํ•œ๋‹ค. ํ•œ ์‹œ์ ์˜ ์นดํƒˆ๋กœ๊ทธ์”ฉ ์ฒ˜๋ฆฌํ•˜๊ณ , ์ „์—ญ ์บ์‹œยท์ž ๊ธˆยท๋™์‹œ ์บ์‹œ ๋ณ€๊ฒฝ์„ ์ถ”๊ฐ€ํ•˜์ง€ ์•Š๋Š”๋‹ค.

๋น„๊ณต๊ฐœ ์ž‘์—…๋ณ„ ์ฆ๊ฑฐ์—๋Š” ๊ณ ์ • ์—ญํ• ยทIDยท์ˆ˜์ • ์ „ ์ปค๋ฐ‹, ์› ๋ฃจํŠธ ์‘๋‹ต ํ•ด์‹œ, ํŠธ๋ฆฌ ID, ์ •๊ทœํ™”๋œ ์นดํƒˆ๋กœ๊ทธ ํ•ด์‹œ์™€ ๊ฒฝ๋กœ๋ณ„ ์—ฐ๊ฒฐ ๊ฒฐ๊ณผ๋ฅผ ๊ธฐ๋กํ•œ๋‹ค. ์ฆ๊ฑฐ ํŒŒ์ผ SHA-256์€ 3452e20f925c03a79c5b0527c7decf58efcba00b6bbe78e50fad3e316b32b7c2๋‹ค. ๊ณต๊ฐœํ•˜๋Š” ๊ฒƒ์€ ์ฝ”๋“œยท๊ณ„ํšยท์ €์žฅ์†Œ๋ณ„ ์ง‘๊ณ„์™€ ํ•ด์‹œ์ด๋ฉฐ ์›๋ฌธยท์ •๋‹ต ๊ฒฝ๋กœยท์ž‘์—…๋ณ„ ์ฆ๊ฑฐ๋Š” ๊ฒŒ์‹œํ•˜์ง€ ์•Š๋Š”๋‹ค.

# ํ˜„์žฌ ๊ณ ์ • ์ž…๋ ฅ๊ณผ ๋กœ์ปฌ ์บ์‹œ์— ๋Œ€ํ•œ ๋„คํŠธ์›Œํฌ ์—†๋Š” ์—ฐ๊ฒฐ ๊ฒ€์‚ฌ
go run ./cmd/riido-developmentjoin --out .cache/development-join-new

์บ์‹œ ์ˆ˜์ง‘์„ ๋ฉˆ์ถ˜ ๋™์ผ ์‹œ์ ์—์„œ ์ผ๋ฐ˜ ์‹คํ–‰ยท์žฌ์‹คํ–‰ยท์ „์ฒด race ์‹คํ–‰ยท๋ณ„๋„ ์ธก์ • ์‹คํ–‰์˜ ์ง‘๊ณ„์™€ ๋น„๊ณต๊ฐœ ์ฆ๊ฑฐ๊ฐ€ ๋ชจ๋‘ ๋ฐ”์ดํŠธ ๋‹จ์œ„๋กœ ์ผ์น˜ํ–ˆ๋‹ค. ์ดํ›„ ์ˆ˜์ง‘์„ ์žฌ๊ฐœํ–ˆ์œผ๋ฏ€๋กœ ์•ž์œผ๋กœ ๊ฐ™์€ ๋ช…๋ น์€ ๋” ๋งŽ์€ ๋ชฉ๋ก์„ ๊ฒ€์‚ฌํ•  ์ˆ˜ ์žˆ๋‹ค. ๋ฌธ์„œ์˜ 1,273๊ฐœ๋Š” ํ•ด๋‹น ์™„๋ฃŒ ์ฒดํฌํฌ์ธํŠธ์ด๋ฉฐ ์‹ค์‹œ๊ฐ„ ์ƒํƒœ๊ฐ€ ์•„๋‹ˆ๋‹ค. ํ•ฉ์„ฑ ๊ฒ€์ฆ์€ ์บ์‹œ ๋ถ€์žฌ/์†์ƒ, ๋‹ค๋ฅธ ์ปค๋ฐ‹์˜ ์˜ค์šฉ, ๊ฒฝ๋กœ ์ข…๋ฅ˜ยท์ •๋ ฌยท์ค‘๋ณต, ์‚ฌ์šฉํ•  ์ˆ˜ ์—†๋Š” ์ •๋‹ต๊ณผ ์ „์ฒด ๋ถ„๋ชจ๋ฅผ ๊ฒ€์‚ฌํ•œ๋‹ค. ์ „์ฒด race/vet/ํ˜•์‹/redacted scan์„ ํ†ต๊ณผํ•œ ๋’ค ๊ณต๊ฐœํ•œ๋‹ค.

์ˆ˜์ง‘๊ณผ ๋‹ค๋ฅธ ๊ฒ€์‚ฌ๊ฐ€ ์ข…๋ฃŒ๋œ ๋’ค M4 Pro CPU์—์„œ ์ „์ฒด 13,021๊ฐœ ์ž…๋ ฅยท1273๊ฐœ ์นดํƒˆ๋กœ๊ทธ ์ฝ๊ธฐยท์—ฐ๊ฒฐยท์ถœ๋ ฅ์„ ํ•œ ๋ฒˆ ๋”ฐ๋กœ ์ธก์ •ํ–ˆ๋‹ค. wall 2.79์ดˆ, user 2.99์ดˆ, system 0.15์ดˆ, ์ตœ๋Œ€ RSS **65,699,840๋ฐ”์ดํŠธ(์•ฝ 62.7MiB)**๋‹ค. ํŒจ์น˜ ํˆฌ์˜ ์ฝ๊ธฐ๋Š” ํฌํ•จํ•˜์ง€๋งŒ Parquet ๋ณ€ํ™˜ยท๋„คํŠธ์›Œํฌยท๋ชจ๋ธ ์ถ”๋ก ยทGPUยทํ•™์Šต์€ ํฌํ•จํ•˜์ง€ ์•Š๋Š”๋‹ค. ๋‹จ์ผ ์ถ”๋ก  ์ง€์—ฐ์ด๋‚˜ ์ด์ „ ๋Œ€๋น„ ์„ฑ๋Šฅ ํ–ฅ์ƒ ์ˆ˜์น˜๊ฐ€ ์•„๋‹ˆ๋‹ค.

AllCatalogsAvailable=false, AllSupportedTargetsVerified=false๋ฅผ ์œ ์ง€ํ•œ๋‹ค. ๋‹ค์Œ์€ ๊ฐ™์€ ์บ์‹œ๋ฅผ ์‚ฌ์šฉํ•œ ์ˆ˜์ง‘ ํ™•๋Œ€์™€ ๋ฏธ๊ฒ€์ฆ ์‚ฌ๋ก€์˜ ์—ฐ๊ฒฐ ๊ฒ€์‚ฌ๋‹ค. ๊ณผ๊ฑฐ ๋ผ์ด์„ ์Šคยท์ด์Šˆ ์ด์šฉ ์กฐ๊ฑดยทํ•™์Šต ์Šน์ธ์€ ๋ณ„๋„๋กœ ๋ฏธ์™„๋ฃŒ๋‹ค. ์ด ์ •๋‹ต์€ ๋ชฉํ‘œ/์‚ฌํ›„ ํ‰๊ฐ€์—๋งŒ ์‚ฌ์šฉํ•˜๊ณ  ์ถ”๋ก  ์ž…๋ ฅ์—๋Š” ๋„ฃ์ง€ ์•Š๋Š”๋‹ค. ์ด๋ฒˆ ๋‹จ๊ณ„์—๋Š” ๋ชจ๋ธ ํ•™์Šตยท์ตœ์ข… ํ‰๊ฐ€ยท์ƒˆ Hugging Face ๋ฐฐํฌ๊ฐ€ ์—†๋‹ค.

ํ›„์† ์™„๋ฃŒ ์ฒดํฌํฌ์ธํŠธ: ์‹คํ—˜ 38์˜ ๋‘ ๋ฒˆ์งธ ์žฌ๊ฐœ ๋ฐฐ์น˜๊ฐ€ ์ƒˆ ์š”์ฒญ 2,000ํšŒ์—์„œ ์ •์ƒ ์ข…๋ฃŒ๋œ ๋’ค ๋ชฉ๋ก 2,248๊ฐœ๋ฅผ ํ™•๋ณดํ–ˆ๋‹ค. ๊ฐ™์€ ์บ์‹œ์˜ ์—ฐ๊ฒฐ ๊ฒ€์‚ฌ์—์„œ๋Š” ์ •๋‹ต๊ณผ ๋ชฉ๋ก์ด ์žˆ๋Š” 2,236๊ฐœ ์ž‘์—…ยท7,639๊ฐœ ๊ฒฝ๋กœ๊ฐ€ ๋ชจ๋‘ ์ผ๋ฐ˜ ํŒŒ์ผ์— ์—ฐ๊ฒฐ๋๋‹ค. ๋ชฉ๋ก ๋ฏธํ™•๋ณด๋Š” ์ „์ฒด 13,021๊ฐœ ์ค‘ 10,773๊ฐœ๋‹ค. ์ˆ˜์ง‘ ์ง‘๊ณ„/๋น„๊ณต๊ฐœ ๊ฐ์ฒดยท์‹คํŒจ ๋ชฉ๋ก๊ณผ ์—ฐ๊ฒฐ ์ง‘๊ณ„/๋น„๊ณต๊ฐœ ์ฆ๊ฑฐ๊ฐ€ ๊ฐ๊ฐ ์˜คํ”„๋ผ์ธ ์žฌ์‹คํ–‰๊ณผ ์ผ์น˜ํ–ˆ๋‹ค. ์ฆ๊ฑฐ ํ•ด์‹œ๋Š” 2cfeff79d68a652181b6129914d25062ddce3c33f698106178502fcd709fa6fa๋‹ค. ์ด ์ถ”๊ฐ€ ์ฒดํฌํฌ์ธํŠธ์—์„œ ๋ณ„๋„ ์„ฑ๋Šฅ ์ธก์ •์ด๋‚˜ ์ƒˆ ํ’ˆ์งˆ ์ฑ„์ ์€ ํ•˜์ง€ ์•Š์•˜์œผ๋ฉฐ, ์œ„ 2.79์ดˆ๋Š” ์ตœ์ดˆ 1,273๊ฐœ ๋ชฉ๋ก ์‹คํ–‰์˜ ์ธก์ •์ด๋‹ค.

Source / ์›๋ณธ ยท PR #65

ํ•™์Šต ๋ฒ”์œ„ / Training scope