Claim Data Preparation KO - teamswyg/laya-tools GitHub Wiki
์์ ๋์ ํํธ์ ํ์ต ์๋ฃ ๋ง๋ค๊ธฐ
๋ชฉํ๋ ์์ Go ๋ชจ๋ธ์ด ์ด๋ ํ๋ณด๋ถํฐ ํ์ธํ ์ง ํํธ๋ฅผ ์ฃผ๋ ๊ฒ์ ๋๋ค. ๋ชจ๋ ํ๋ณด์ ๋ ๋ฆฝ ๊ฒ์ฆ์ ๋จ๊น๋๋ค. ๋ชจ๋ธ์ ๋์ ์ ์๋ง์ผ๋ก ์ฝ๋๊ฐ ์ ๋ต์ด๋ผ๊ณ ์ฒ๋ฆฌํ์ง ์์ต๋๋ค. ๊ธฐ์กด ํ์ต ๋ชจ๋ธ ๋ ๊ฐ๋ ํ๋ณด ํ์ธ ์๋ฅผ ๋๋ ค ํ์ฌ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ์ฌ์ฉํ์ง ์์ต๋๋ค.
flowchart LR
A[๊ณต๊ฐ ์๋ฌธ๊ณผ ๋ผ์ด์ ์ค] --> B[์ ํจ์ ๋์ ํ์ธ]
B --> C[์ฌ์ฉ์ ์์ฒญ๊ณผ ์ ์ฒด ๋น๊ต ํ๋ณด]
C --> D[ํ๋ณด ์ฝ๋๊ฐ ์์ฒญ์ ๋ง์กฑํ๋์ง ๊ฒ์ฆ]
D --> E[๊ธฐ์กด ์ ๋ ฌ๊ณผ ์์ ๋ชจ๋ธ ๋น๊ต]
ํจ์ ์์ ์ ํ์ต ์์ฒญ์ ์ฐจ์ด
UUID๊ฐ ์๋ชป๋ ๋ฌธ์๋ฅผ ๋ฐ์์ ๋ ๋ถ๋ถ ๋ฐ์ดํธ์ ์ค๋ฅ๋ฅผ ์ด๋ป๊ฒ ๋ฐํํ๋์ง ํ์ธํ๋ ์ ๋ ฅ 8๊ฐ๊ฐ ์๋ค๊ณ ํฉ์๋ค. ์ด๋ค์ ๊ฐ์ ๋์์ ์ดํผ๋ ์ฌ๋ฌ ์์ ์ ๋๋ค. ์ฌ์ฉ์ ์์ฒญ 8๊ฐ๋ ๋ ๋ฆฝ ์์ฒ 8๊ฐ๋ก ์ธ์ง ์์ต๋๋ค.
๊ทธ ๊ทผ๊ฑฐ๋ฅผ ์ฌ์ฉ์ ์์ฒญ์ผ๋ก ๋ฐ๊พธ๋ฉด โํ์๊ฐ ์ค๋ฅ๋ฅผ ๋ฐํํด๋ ๋ถ๋ถ ๋ฐ์ดํธ๋ฅผ ๋ณด์กดํ๊ณ , ์ค๋ฅ๋ฅผ ์จ๊ธฐ๊ฑฐ๋ panic์ผ๋ก ๋ฐ๊พธ์ง ๋ง๋ผโ๊ฐ ๋ฉ๋๋ค. ๋น๊ต ํ๋ณด๋ ์ค๋ฅ ๋ ๊ฐ์ ์ง์ฐ๋ ์ฝ๋, ์๋ฌธ ๊ฒฐ๊ณผ๋ฅผ ๊ทธ๋๋ก ๋ฐํํ๋ ์ฝ๋, ์ค๋ฅ๋ฅผ panic์ผ๋ก ๋ฐ๊พธ๋ ์ฝ๋์ ๋๋ค. ์๋ชป๋ ํ๋ณด์ ์ค๋ช ๋ ๊ทธ ํ๋ณด ์ฝ๋์ ์ค์ ๋์์ ์ถฉ์คํ ์ค๋ช ํด์ผ ํฉ๋๋ค.
์ด์ ๋ชจ๋ธ์ด ๋ณด๊ฒ ๋๋ ๊ฒ์ ์์ฒญ๊ณผ ์งง์ ํ๋ณด ์ค๋ช ์ ๋๋ค. ์์คยทํจ์ ์ ๋ ฅยทWant/Gotยท์ ๋ตยท์ญํ ยทํ์ต ๊ฐ์ค์น๋ ๊ฒ์ฆ์ฉ ์์๋ฃ์ ๋๋ค. ๋ชจ๋ธ ์ ์๋ฅผ ์ ๋ต ์์ฑ์ ์ฌ์ฉํ์ง ์์ต๋๋ค.
๋ค ๊ฐ์ง๋ฅผ ๋ฐ๋ก ํ์ธํฉ๋๋ค
| ํ์ธ ํญ๋ชฉ | ์ฝ๊ฒ ๋งํ๋ฉด |
|---|---|
| ์ฝ๋์ ์์ฒญ ์ถฉ์กฑ | ์ ํํ ์ ํ ์ ๋ ฅ์์ ํด๋น ํ๋ณด ์ฝ๋๊ฐ ์ค์ ์์ฒญ์ ๋ง์กฑํ๋๊ฐ? |
| ์ค๋ช ์ ์ถฉ์ค๋ | ์งง์ ์ค๋ช ์ด ์๋ฌธ๊ณผ ํ๋ณด์ ํ์ฒ๋ฆฌ๊น์ง ์ ํํ ์ค๋ช ํ๋๊ฐ? |
| ๊ฐ๋ ์ ๊ฒฉ์ฑ | ๊ด์ฐฐํ ๋ฒ์์ ์ค๋ช ์ด ์ฐ๊ฒฐ๋์ด ํ์ต์ ์์ฑยท์์ฑ์ผ๋ก ์ธ ์ ์๋๊ฐ? |
| ๊ด์ฐฐ ์ฑ๋ | ๊ฐยท์ค๋ฅยท์ํยทpanic ์ค ์์ฒญ์ ํ์ํ ๋ด์ฉ์ ๋น ์ง์์ด ํ์ธํ๋๊ฐ? |
์ค๋ช ์ ๊ทผ๊ฑฐ๊ฐ ๋ถ์กฑํ ๊ฒฝ์ฐ๋ฅผ ์ฝ๋๊ฐ ํ๋ ธ๋ค๋ ์์ฑ ์ ๋ต์ผ๋ก ๋ฐ๊พธ์ง ์์ต๋๋ค. ๋ฐ๋๋ก ์์ฒญ์ ๋ง์กฑํ์ง ์๋ ์ฝ๋๋ผ๋ ์ค๋ช ์ด ๊ทธ ์ฝ๋๋ฅผ ์ ํํ ์ค๋ช ํ๊ณ ํ์ํ ์คํ ๊ทผ๊ฑฐ๊ฐ ์์ผ๋ฉด ์ ์ฉํ ๋น๊ต ํ๋ณด๊ฐ ๋ ์ ์์ต๋๋ค. ๊ธฐ์กด truth์ ํ์ต mask๋ฅผ ๋ณ๊ฐ๋ก ๋ณด์กดํ๋ ์ด์ ์ ๋๋ค.
ํ์ฌ ์งํ๊ณผ ๋ค์ ํ์ต
Source80 ์ค์ ๊ฒฐ๊ณผ๋ ParseยทScanยทOrdinal์ 24๊ฐ ์ ๋ ฅ์์ ๊ธฐ๋๊ฐ์ด ์ผ์นํ์ต๋๋ค. ์ธ ๋ชฉํ๋ฅผ ์์ฒญ ํ๋์ฉ๊ณผ ํ๋ณด ์ธ ๊ฐ์ฉ์ผ๋ก ์ฐ๊ฒฐํ๋ ์์ pilot์ ์ค๋นํฉ๋๋ค. ์ด๋ ๋ณํ ๊ฒฝ๋ก๋ฅผ ํ์ธํ๋ ๊ท๋ชจ์ด๋ฉฐ ํ์ต ํจ์ฉ์ด๋ ๋ ๋ฆฝ ์ผ๋ฐํ์ ์ฆ๋ช ์ด ์๋๋๋ค.
Source82 ์ค๋น ๊ธฐ๋ก์ ๋ค์ ์๊ฐยท์ฌ๋ผ์ด์คยทํ๋๊ทธ ์ํ ๊ฒ์ฆ์ ํ์ํ ์๋ฌธ 57ํ์ผ์ ๋ณด์กดํฉ๋๋ค. ์๋ฌธ ์ทจ๋์ ์ปดํ์ผยท์ ํจ์ ์คํยทํ์ต ์ค๋น ์๋ฃ์ ๋ค๋ฆ ๋๋ค. ๋ผ์ด์ ์ค ์ ๋ฌธ๊ณผ ๋ณต์ฌ๋ Go ์ฝ๋์ ๊ณ ์ง๋ฅผ ํจ๊ป ์ ์งํฉ๋๋ค.
ํ์ต ์ฌ๊ฐ ๊ฒํ ์ ๊ฒฐ๋ก ์ ์๋ฃ ์ฐ๊ฒฐ์ ๋จผ์ ์๋ฃํ๋ ๊ฒ์ ๋๋ค. ์ค์ ํ๋ณด ๊ทผ๊ฑฐ์ ๊ฐ๋ ์ ๊ฒฉ์ฑ์ ํ์ธํ ๋ค ๊ณ ์ ๋ค ๊ธฐ์ค์ ๊ณผ oracle์ ๊ฐ์ ์ ์ฒด ํ๋ณด ์งํฉ์์ ๋น๊ตํฉ๋๋ค. ์๋ ๊ฐ์ ์ฌ์ง ์กฐ๊ฑด์ ์ถฉ์กฑํ๋ฉด ์๋ฃ ๋ณํ์ ํจ๊ณผ๋ฅผ ๋ณด๋ ํ ๋ฒ์ ์์ FP32 ๊ฐ๋ฐ ํ์ต์ ๋ณ๋๋ก ๊ณํํฉ๋๋ค. ์ ์๊ฐ ์ข์ ์์ฒญ๋ง ๊ณ ๋ฅด๊ฑฐ๋ ๊ธฐ์กด ์๊ณ๊ฐ์ ๋ฎ์ถ์ง ์์ต๋๋ค.
๊ฐ์ ์๋ฌธยทhelperยท๋ณต์ฌ ๊ณ๋ณด์ ์์ฒญ์ ๊ฐ์ ๊ทธ๋ฃน์ผ๋ก ๋ฌถ์ต๋๋ค. ๊ธฐ์กด calibration/final์ train์ผ๋ก ์ฎ๊ธฐ์ง ์๊ณ ์ด๋ฏธ ์ดํด๋ณธ validation์ ๊ฐ๋ฐ ํ๊ท ๊ฒ์ฌ๋ก ํ์ํฉ๋๋ค. ๋ณดํธ๋ ์ต์ข ์ต์ 2,400๊ฐ ์์ฒญ์ ์์ง ์ถฉ์กฑํ์ง ๋ชปํ์ผ๋ฉฐ ์์ ๋ณํ pilot์ ๋ถ๋ชจ์ ํฉ์ณ ์ธ์ง ์์ต๋๋ค.
ํ์ฌ ๋จ๊ณ์์ ์๋ก์ด ๋ชจ๋ธ ๊ฐ์ ยท๋ฉ๋ชจ๋ฆฌ ์ ๊ฐยทCodex ์๊ธ ์ ๊ฐ์ ์ฃผ์ฅํ์ง ์์ต๋๋ค. ๋ชจ๋ธ ํ์ผ ํฌ๊ธฐ, Go ํ ๋น๋, ์ ์ฒด ํ๋ก์ธ์ค RSS, GPU ์ฌ์ฉ๋๋ ๊ฐ๊ฐ ๋ฐ๋ก ์ธก์ ํด์ผ ํฉ๋๋ค. English