Claim Data Preparation KO - teamswyg/laya-tools GitHub Wiki

์ž‘์€ ๋™์ž‘ ํžŒํŠธ์˜ ํ•™์Šต ์ž๋ฃŒ ๋งŒ๋“ค๊ธฐ

๋ชฉํ‘œ๋Š” ์ž‘์€ Go ๋ชจ๋ธ์ด ์–ด๋А ํ›„๋ณด๋ถ€ํ„ฐ ํ™•์ธํ• ์ง€ ํžŒํŠธ๋ฅผ ์ฃผ๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋ชจ๋“  ํ›„๋ณด์™€ ๋…๋ฆฝ ๊ฒ€์ฆ์„ ๋‚จ๊น๋‹ˆ๋‹ค. ๋ชจ๋ธ์˜ ๋†’์€ ์ ์ˆ˜๋งŒ์œผ๋กœ ์ฝ”๋“œ๊ฐ€ ์ •๋‹ต์ด๋ผ๊ณ  ์ฒ˜๋ฆฌํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด ํ•™์Šต ๋ชจ๋ธ ๋‘ ๊ฐœ๋Š” ํ›„๋ณด ํ™•์ธ ์ˆ˜๋ฅผ ๋Š˜๋ ค ํ˜„์žฌ ๊ธฐ๋ณธ๊ฐ’์œผ๋กœ ์‚ฌ์šฉํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

flowchart LR
    A[๊ณต๊ฐœ ์›๋ฌธ๊ณผ ๋ผ์ด์„ ์Šค] --> B[์› ํ•จ์ˆ˜ ๋™์ž‘ ํ™•์ธ]
    B --> C[์‚ฌ์šฉ์ž ์š”์ฒญ๊ณผ ์ „์ฒด ๋น„๊ต ํ›„๋ณด]
    C --> D[ํ›„๋ณด ์ฝ”๋“œ๊ฐ€ ์š”์ฒญ์„ ๋งŒ์กฑํ•˜๋Š”์ง€ ๊ฒ€์ฆ]
    D --> E[๊ธฐ์กด ์ •๋ ฌ๊ณผ ์ž‘์€ ๋ชจ๋ธ ๋น„๊ต]

ํ•จ์ˆ˜ ์˜ˆ์ œ์™€ ํ•™์Šต ์š”์ฒญ์˜ ์ฐจ์ด

UUID๊ฐ€ ์ž˜๋ชป๋œ ๋ฌธ์ž๋ฅผ ๋ฐ›์•˜์„ ๋•Œ ๋ถ€๋ถ„ ๋ฐ”์ดํŠธ์™€ ์˜ค๋ฅ˜๋ฅผ ์–ด๋–ป๊ฒŒ ๋ฐ˜ํ™˜ํ•˜๋Š”์ง€ ํ™•์ธํ•˜๋Š” ์ž…๋ ฅ 8๊ฐœ๊ฐ€ ์žˆ๋‹ค๊ณ  ํ•ฉ์‹œ๋‹ค. ์ด๋“ค์€ ๊ฐ™์€ ๋™์ž‘์„ ์‚ดํ”ผ๋Š” ์—ฌ๋Ÿฌ ์˜ˆ์ œ์ž…๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž ์š”์ฒญ 8๊ฐœ๋‚˜ ๋…๋ฆฝ ์›์ฒœ 8๊ฐœ๋กœ ์„ธ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๊ทธ ๊ทผ๊ฑฐ๋ฅผ ์‚ฌ์šฉ์ž ์š”์ฒญ์œผ๋กœ ๋ฐ”๊พธ๋ฉด โ€œํŒŒ์„œ๊ฐ€ ์˜ค๋ฅ˜๋ฅผ ๋ฐ˜ํ™˜ํ•ด๋„ ๋ถ€๋ถ„ ๋ฐ”์ดํŠธ๋ฅผ ๋ณด์กดํ•˜๊ณ , ์˜ค๋ฅ˜๋ฅผ ์ˆจ๊ธฐ๊ฑฐ๋‚˜ panic์œผ๋กœ ๋ฐ”๊พธ์ง€ ๋ง๋ผโ€๊ฐ€ ๋ฉ๋‹ˆ๋‹ค. ๋น„๊ต ํ›„๋ณด๋Š” ์˜ค๋ฅ˜ ๋•Œ ๊ฐ’์„ ์ง€์šฐ๋Š” ์ฝ”๋“œ, ์›๋ฌธ ๊ฒฐ๊ณผ๋ฅผ ๊ทธ๋Œ€๋กœ ๋ฐ˜ํ™˜ํ•˜๋Š” ์ฝ”๋“œ, ์˜ค๋ฅ˜๋ฅผ panic์œผ๋กœ ๋ฐ”๊พธ๋Š” ์ฝ”๋“œ์ž…๋‹ˆ๋‹ค. ์ž˜๋ชป๋œ ํ›„๋ณด์˜ ์„ค๋ช…๋„ ๊ทธ ํ›„๋ณด ์ฝ”๋“œ์˜ ์‹ค์ œ ๋™์ž‘์„ ์ถฉ์‹คํžˆ ์„ค๋ช…ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

์ด์ œ ๋ชจ๋ธ์ด ๋ณด๊ฒŒ ๋˜๋Š” ๊ฒƒ์€ ์š”์ฒญ๊ณผ ์งง์€ ํ›„๋ณด ์„ค๋ช…์ž…๋‹ˆ๋‹ค. ์†Œ์Šคยทํ•จ์ˆ˜ ์ž…๋ ฅยทWant/Gotยท์ •๋‹ตยท์—ญํ• ยทํ•™์Šต ๊ฐ€์ค‘์น˜๋Š” ๊ฒ€์ฆ์šฉ ์˜†์ž๋ฃŒ์ž…๋‹ˆ๋‹ค. ๋ชจ๋ธ ์ ์ˆ˜๋ฅผ ์ •๋‹ต ์ž‘์„ฑ์— ์‚ฌ์šฉํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๋„ค ๊ฐ€์ง€๋ฅผ ๋”ฐ๋กœ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค

ํ™•์ธ ํ•ญ๋ชฉ ์‰ฝ๊ฒŒ ๋งํ•˜๋ฉด
์ฝ”๋“œ์˜ ์š”์ฒญ ์ถฉ์กฑ ์„ ํƒํ•œ ์œ ํ•œ ์ž…๋ ฅ์—์„œ ํ•ด๋‹น ํ›„๋ณด ์ฝ”๋“œ๊ฐ€ ์‹ค์ œ ์š”์ฒญ์„ ๋งŒ์กฑํ•˜๋Š”๊ฐ€?
์„ค๋ช…์˜ ์ถฉ์‹ค๋„ ์งง์€ ์„ค๋ช…์ด ์›๋ฌธ๊ณผ ํ›„๋ณด์˜ ํ›„์ฒ˜๋ฆฌ๊นŒ์ง€ ์ •ํ™•ํžˆ ์„ค๋ช…ํ•˜๋Š”๊ฐ€?
๊ฐ๋… ์ ๊ฒฉ์„ฑ ๊ด€์ฐฐํ•œ ๋ฒ”์œ„์™€ ์„ค๋ช…์ด ์—ฐ๊ฒฐ๋˜์–ด ํ•™์Šต์˜ ์–‘์„ฑยท์Œ์„ฑ์œผ๋กœ ์“ธ ์ˆ˜ ์žˆ๋Š”๊ฐ€?
๊ด€์ฐฐ ์ฑ„๋„ ๊ฐ’ยท์˜ค๋ฅ˜ยท์ƒํƒœยทpanic ์ค‘ ์š”์ฒญ์— ํ•„์š”ํ•œ ๋‚ด์šฉ์„ ๋น ์ง์—†์ด ํ™•์ธํ–ˆ๋Š”๊ฐ€?

์„ค๋ช…์— ๊ทผ๊ฑฐ๊ฐ€ ๋ถ€์กฑํ•œ ๊ฒฝ์šฐ๋ฅผ ์ฝ”๋“œ๊ฐ€ ํ‹€๋ ธ๋‹ค๋Š” ์Œ์„ฑ ์ •๋‹ต์œผ๋กœ ๋ฐ”๊พธ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฐ˜๋Œ€๋กœ ์š”์ฒญ์„ ๋งŒ์กฑํ•˜์ง€ ์•Š๋Š” ์ฝ”๋“œ๋ผ๋„ ์„ค๋ช…์ด ๊ทธ ์ฝ”๋“œ๋ฅผ ์ •ํ™•ํžˆ ์„ค๋ช…ํ•˜๊ณ  ํ•„์š”ํ•œ ์‹คํ–‰ ๊ทผ๊ฑฐ๊ฐ€ ์žˆ์œผ๋ฉด ์œ ์šฉํ•œ ๋น„๊ต ํ›„๋ณด๊ฐ€ ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด truth์™€ ํ•™์Šต mask๋ฅผ ๋ณ„๊ฐœ๋กœ ๋ณด์กดํ•˜๋Š” ์ด์œ ์ž…๋‹ˆ๋‹ค.

ํ˜„์žฌ ์ง„ํ–‰๊ณผ ๋‹ค์Œ ํ•™์Šต

Source80 ์‹ค์ œ ๊ฒฐ๊ณผ๋Š” ParseยทScanยทOrdinal์˜ 24๊ฐœ ์ž…๋ ฅ์—์„œ ๊ธฐ๋Œ€๊ฐ’์ด ์ผ์น˜ํ–ˆ์Šต๋‹ˆ๋‹ค. ์„ธ ๋ชฉํ‘œ๋ฅผ ์š”์ฒญ ํ•˜๋‚˜์”ฉ๊ณผ ํ›„๋ณด ์„ธ ๊ฐœ์”ฉ์œผ๋กœ ์—ฐ๊ฒฐํ•˜๋Š” ์ž‘์€ pilot์„ ์ค€๋น„ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๋ณ€ํ™˜ ๊ฒฝ๋กœ๋ฅผ ํ™•์ธํ•˜๋Š” ๊ทœ๋ชจ์ด๋ฉฐ ํ•™์Šต ํšจ์šฉ์ด๋‚˜ ๋…๋ฆฝ ์ผ๋ฐ˜ํ™”์˜ ์ฆ๋ช…์ด ์•„๋‹™๋‹ˆ๋‹ค.

Source82 ์ค€๋น„ ๊ธฐ๋ก์€ ๋‹ค์Œ ์‹œ๊ฐ„ยท์Šฌ๋ผ์ด์Šคยทํ”Œ๋ž˜๊ทธ ์ƒํƒœ ๊ฒ€์ฆ์— ํ•„์š”ํ•œ ์›๋ฌธ 57ํŒŒ์ผ์„ ๋ณด์กดํ•ฉ๋‹ˆ๋‹ค. ์›๋ฌธ ์ทจ๋“์€ ์ปดํŒŒ์ผยท์› ํ•จ์ˆ˜ ์‹คํ–‰ยทํ•™์Šต ์ค€๋น„ ์™„๋ฃŒ์™€ ๋‹ค๋ฆ…๋‹ˆ๋‹ค. ๋ผ์ด์„ ์Šค ์ „๋ฌธ๊ณผ ๋ณต์‚ฌ๋œ Go ์ฝ”๋“œ์˜ ๊ณ ์ง€๋ฅผ ํ•จ๊ป˜ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.

ํ•™์Šต ์žฌ๊ฐœ ๊ฒ€ํ† ์˜ ๊ฒฐ๋ก ์€ ์ž๋ฃŒ ์—ฐ๊ฒฐ์„ ๋จผ์ € ์™„๋ฃŒํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์‹ค์ œ ํ›„๋ณด ๊ทผ๊ฑฐ์™€ ๊ฐ๋… ์ ๊ฒฉ์„ฑ์„ ํ™•์ธํ•œ ๋’ค ๊ณ ์ • ๋„ค ๊ธฐ์ค€์„ ๊ณผ oracle์„ ๊ฐ™์€ ์ „์ฒด ํ›„๋ณด ์ง‘ํ•ฉ์—์„œ ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค. ์›๋ž˜ ๊ฐœ์„  ์—ฌ์ง€ ์กฐ๊ฑด์„ ์ถฉ์กฑํ•˜๋ฉด ์ž๋ฃŒ ๋ณ€ํ™”์˜ ํšจ๊ณผ๋ฅผ ๋ณด๋Š” ํ•œ ๋ฒˆ์˜ ์ž‘์€ FP32 ๊ฐœ๋ฐœ ํ•™์Šต์„ ๋ณ„๋„๋กœ ๊ณ„ํšํ•ฉ๋‹ˆ๋‹ค. ์ ์ˆ˜๊ฐ€ ์ข‹์€ ์š”์ฒญ๋งŒ ๊ณ ๋ฅด๊ฑฐ๋‚˜ ๊ธฐ์กด ์ž„๊ณ„๊ฐ’์„ ๋‚ฎ์ถ”์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๊ฐ™์€ ์›๋ฌธยทhelperยท๋ณต์‚ฌ ๊ณ„๋ณด์˜ ์š”์ฒญ์€ ๊ฐ™์€ ๊ทธ๋ฃน์œผ๋กœ ๋ฌถ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด calibration/final์„ train์œผ๋กœ ์˜ฎ๊ธฐ์ง€ ์•Š๊ณ  ์ด๋ฏธ ์‚ดํŽด๋ณธ validation์€ ๊ฐœ๋ฐœ ํšŒ๊ท€ ๊ฒ€์‚ฌ๋กœ ํ‘œ์‹œํ•ฉ๋‹ˆ๋‹ค. ๋ณดํ˜ธ๋œ ์ตœ์ข… ์ตœ์†Œ 2,400๊ฐœ ์š”์ฒญ์€ ์•„์ง ์ถฉ์กฑํ•˜์ง€ ๋ชปํ–ˆ์œผ๋ฉฐ ์ž‘์€ ๋ณ€ํ™˜ pilot์˜ ๋ถ„๋ชจ์— ํ•ฉ์ณ ์„ธ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

ํ˜„์žฌ ๋‹จ๊ณ„์—์„œ ์ƒˆ๋กœ์šด ๋ชจ๋ธ ๊ฐœ์„ ยท๋ฉ”๋ชจ๋ฆฌ ์ ˆ๊ฐยทCodex ์š”๊ธˆ ์ ˆ๊ฐ์„ ์ฃผ์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ ํŒŒ์ผ ํฌ๊ธฐ, Go ํ• ๋‹น๋Ÿ‰, ์ „์ฒด ํ”„๋กœ์„ธ์Šค RSS, GPU ์‚ฌ์šฉ๋Ÿ‰๋„ ๊ฐ๊ฐ ๋”ฐ๋กœ ์ธก์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. English