Caption Content Review Results 61 KO - teamswyg/laya-tools GitHub Wiki
์ค๋ช ๋ด์ฉ ๊ฒํ 61: ๋ฌด์์ ํ์ตํ ์ ์๋๊ฐ
๊ธฐ์กด 72๊ฐ ์์ฒญ๊ณผ216๊ฐ ํ๋ณด ์์น์ ์ค๋ช ๋ด์ฉ ๊ฒํ ๋ฅผ ๋ง์ณค์ต๋๋ค. ์์ 60์ด123๊ฐ ๊ฒํ ํญ๋ชฉ์, ์ด๋ฒ61์ด ๋๋จธ์ง615๊ฐ๋ฅผ ๋ค๋ฃน๋๋ค. ์ด738๊ฐ๋ ๊ฐ์ ์๋ฃ๋ฅผ ์ฌ๋ฌ ๊ด์ ์์ ์ฝ์ ํญ๋ชฉ ์์ด๋ฉฐ738๊ฐ ๋ ๋ฆฝ ์์ฒญ์ด๋ ๋ชจ๋ธ ์ํ ๊ฒฐ๊ณผ๊ฐ ์๋๋๋ค. ์๋ ์ ๋ตยทํ๋ณด ์์ยทunknown21๊ฐ์ ์ ์ฒด17/์๋ ค์ง ์ ๋ต์ ํฌํจํ16๊ทธ๋ฃน์ ์ ์งํ์ต๋๋ค.
| ์๋ ๊ฒํ ํญ๋ชฉ | 60 | 61 | ์ ์ฒด |
|---|---|---|---|
| ์ ํ๋ ๊ทผ๊ฑฐ์ ์ผ์น | 78 | 446 | 524 |
| ๊ทผ๊ฑฐ์ ์ถฉ๋ | 17 | 94 | 111 |
| ์๊ตฌ ๋ฒ์ ๋๋ฝ | 2 | 10 | 12 |
| ์ง์๋์ง ์๊ฑฐ๋ ๋ฏธํด๊ฒฐ | 26 | 65 | 91 |
| ํฉ๊ณ | 123 | 615 | 738 |
์ด ํ์ ์ผ์น๋ ํ๋ณด ์น์ธ์จ์ด ์๋๋๋ค. ์์ค ์ฐธ์กฐ, ์์ฒญ ํํ, ๊ตฌํ ์ค๋ช , ์์ฒญ ์ถฉ์กฑ ์ฌ๋ถ์ ๊ณ์ฝ ๊ด์ฐฐ์ ํฉํ ์์ ๋๋ค. ํ๋ณด ์ค๋ช ์ ์ถฉ์ค๋๋ง ๋ณด๋ฉด216๊ฐ ์ค207๊ฐ๊ฐ ์๊ธฐ ๊ตฌํ๊ณผ ์ผ์นํ๊ณ 9๊ฐ๋ ๋ฏธํด๊ฒฐ์ ๋๋ค. ์์ฒญ ์ถฉ์กฑ ์ค๋ช ์ ์ผ์น35/์ถฉ๋111/๋๋ฝ9/๋ฏธํด๊ฒฐ61๋ก ๋ค๋ฅธ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ ๋๋ค. ํ๋ฆฐ ๊ตฌํ์ ์ ํํ ์ค๋ช ํ๋ ๋ฌธ์ฅ์ด ์๋ ๋งํผ, ์ถฉ์ค๋์ ์ ๋ต์ ๊ฐ์ ๊ฒ์ผ๋ก ์ทจ๊ธํ๋ฉด ์ ๋ฉ๋๋ค.
ํํธ ๋๊ตฌ์ ์ด ๊ตฌ๋ถ์ด ํ์ํ ์ด์ ๋ ๊ฐ๋จํฉ๋๋ค. โ์ธ์ ํ ์ค๋ณต๋ง ์ง์ด๋คโ๋ ์์ฒญ์ โ๋ชจ๋ ์ค๋ณต์ ์ง์ด๋คโ๋ ํ๋ณด ์ค๋ช ์ด ์ค๋ฉด, ๊ทธ ํ๋ณด๋ ์ค์ ๊ตฌํ์ ์ถฉ์คํ ์ค๋ต ์ค๋ช ์ผ ์ ์์ต๋๋ค. ์ด๋ฐ ๊ฒฝ์ฐ ๊ธฐ์กด negative๋ฅผ ๊ฐ๋ ์ ์ฌ์ฉํ ์ฌ์ง๊ฐ ์์ต๋๋ค. ๋ฐ๋ฉด โ์๋ชป๋๋ฉด0โ์ฒ๋ผ ์๋ชป๋จ์ ๋ฒ์๊ฐ ๋ชจํธํ ํํ์ ์ค๋ต์ผ๋ก ๋จ์ ํด์๋ ์ ๋ฉ๋๋ค. ๋๋ฝยท๋ฏธํด๊ฒฐ ๊ฒํ ์ํ๋ฅผ ์0/1 ์ ๋ต์ผ๋ก ๋ง๋ค์ง ์๊ณ , ๊ฐ๋ ์์ ๋ณด๋ฅํ ๋ฒ์๋ฅผ ๋ฐ๋ก ๊ณ ์ ํด์ผ ํฉ๋๋ค.
์ด๋ฒ61์15๊ณ์ดยท60์์ฒญยท180ํ๋ณด ์์น๋ฅผ ์ฝ์์ต๋๋ค. ๊ธฐ์กด60์3๊ณ์ด์ ๋ค์ ์คํํ๊ฑฐ๋ ํ๋จ์ ๋ฎ์ด์ฐ์ง ์์์ต๋๋ค. ๊ด์ฐฐ ํ๋์ ๋ถ์ ยท๊ฒฝ๊ณ๋ ๋ณด์กฐ360๊ฐ record๋ก ๋จ๊ฒผ๊ณ ,61 ์ ์ฒด๋975๊ฐ record์ ๋๋ค.60์ ํฉํ๋ฉด1170๊ฐ record์ง๋ง ์์ฒญ์ ์ฌ์ ํ72๊ฐ์ ๋๋ค. 61 ์์ธ ๊ฒํ , 60 ์์ธ ๊ฒํ , 61 manifest์์ ๊ทผ๊ฑฐ์ ๋ฏธํด๊ฒฐ ํด์์ ๋ณผ ์ ์์ต๋๋ค.
์๋59์738๊ฐ pending ํ์ผ์ ๋น์ ์ํ๋ฅผ ๋ํ๋ด๋ ๋ถ๋ณ snapshot์
๋๋ค. ์60ยท61 overlay๋ฅผ ํจ๊ป ์ฝ์ผ๋ฉฐ ๊ณผ๊ฑฐ ํ์ผ์ ํต๊ณผ ์ํ๋ก ๊ณ ์น์ง ์์ต๋๋ค.61์ manifest์ ๋จ์ ๋
๋ฆฝ ๊ฒ์ฆ pending ์ญ์ ์์ฑ ์์ ์ ๊ธฐ๋ก์
๋๋ค. ์ดํ ๋ณ๋ ๊ฒ์ฆ ์์์ฆ๊ณผ ์ฅ๋ถ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ๋
๋ฆฝ ๊ฒ์ฆ์ ์ค์ 2ํ ์ค ๊ฒ์ฆ๊ธฐ์ legacy null ์ฒ๋ฆฌ ๊ฐ์ ์ค๋ฅ1ํ ํ ํต๊ณผํ๊ณ , ํ์ ํ์ผ ์์ ยท์ฌ์์ฑ์0์
๋๋ค.31๊ฐ JSON ํ,975๊ฐ record digest,984๊ฐ ์ธ์ฉ ๋ฒ์์615+360 ํญ๋ชฉ ๋์์ ํ์ธํ์ต๋๋ค. ๋
๋ฆฝ ๊ฒ์ฆ ์ค๋ช
์ report.jsonยทledger.json์ ๊ณต๊ฐํ์์ ๊ฐ๊ฐ ์ ์์์ฆยท์ฅ๋ถ ํ์ผ ์ด๋ฆ์ผ๋ก ๋ณด๊ดํฉ๋๋ค. ํด์ยท์๋ฌธ ์ธ์ฉยท์ฐธ์กฐ์ ์ผ์น๋ ์๋ฏธ ํ๋จ์ ๊ฐ๊ด์ ์ ๋ต์ด๋ ๋ชจ๋ธ ํ์ง์ ์ฆ๋ช
ํ์ง ์์ต๋๋ค.
์ค์ ์ฝ๊ธฐ๋ Codex ํ์
์์ AI๊ฐ ์ํํ์ต๋๋ค. ๊ฒํ ์๋ ์๋ caption/fixture/CLI ์ ์์ ๋ค๋ฅด์ง๋ง ์ด์ ๊ฒํ ์ ๊ฒฐ๊ณผ metadata๋ฅผ ๋ณด์์ผ๋ฏ๋ก blind ํ๊ฐ๋ ๋ค๋ฅธ ๋ฐ์ดํฐ ์์ฑ ์์ฒ์ ์ฃผ์ฅํ์ง ์์ต๋๋ค. model_calls=0๋ ๋ณ๋ judge ์ถ๋ก /API/benchmark ํ๋ก์ธ์ค๋ฅผ ์คํํ์ง ์์๋ค๋ ๋ป์ด๋ฉฐ ์ด ํ์
์ AI ์ฌ์ฉ๋์ด๋ ๋น์ฉ์ด0์ด๋ผ๋ ๋ป์ด ์๋๋๋ค. ์ผ๋ฐ ํ์
๋น์ฉ์ ์ธก์ ํ์ง ์์์ต๋๋ค. ์์ฑยท๋น๋ยท๊ฒ์ฌ helper์ ์คํจ์ ์์ ์ ๊ฐ๊ฐ์ ์คํ ์ฅ๋ถ์ ๋จ๊ฒผ์ต๋๋ค.
๋ค์ ๊ตฌํ์ ์๋ณธ ํ ์คํธยท์ ๋ต, ๊ฐ๋ ์ ๊ฒฉ์ฑ, ์ค์ fit ์ ๋ ฅ์ ๋ถ๋ฆฌํ๋ Go ๊ฒฝ๋ก์ ๋๋ค. ๋ต์ด ์ฌ๋ฌ ๊ฐ๋ฉด ๋ชจ๋ ๋ณด์กดํ๊ณ , ๋ต ์์์ ์ด๋ฏธ ํ์ธ๋ negative๋ฅผ ๋ณด์กดํ๋ฉฐ, unknown์ ํ์ต ๋ผ๋ฒจ์ ๋ง๋ค์ง ์์ต๋๋ค. ๊ฐ์ ์์คยทhelper์์ ํ์๋ ์๋ฃ๋ ๊ฐ์ ๊ทธ๋ฃน ์ญํ ์ ๋ฐ๋ฆ ๋๋ค. ๋ถํ์คํ ํ๋ณด๋ฅผ ์์ ๋ชฉ๋ก์์ ์ง์ฐ๊ฑฐ๋ fallback์ ์ ํํ์ง ์์ต๋๋ค.
๋ด์ฉ ๊ฒํ ์๋ฃ๋ง์ผ๋ก ํ์ต ์ค๋น๊ฐ ๋๋์ง๋ ์์ต๋๋ค. ์ค์ ์์ฒ ๋ค์์ฑ, ์ญํ ยทseedยทcoverage ๋๊ฒฐ๊ณผ bounded loader/์คํ ๊ณํ์ด ๋จ์ต๋๋ค. ์ด๋ฒ ์ญํ ๋ฐฐ์ ยทfitยท์ ๊ฐ์ค์นยท๋ณดํธ ์ต์ข
ํ๊ฐ ์ฝ๊ธฐ๋0์ด๋ฉฐ training_ready=false์
๋๋ค. ๊ธฐ์กด15๊ทธ๋ฃนยท5% ํจ์ฉ ์กฐ๊ฑด๊ณผ ๋๋ฉ์ธ๋ณ ๋ณดํธ ์ต์ข
์์ฒญ2400๊ฐ ๋ชฉํ๋ฅผ ์ ์งํ๊ณ , ์15์ ์ฅ์ ์กฐ๊ฑด์ด๋ ๋ชจ๋ ๊ฐ๋ฐ fit์2400๊ฐ ์กฐ๊ฑด์ ์ถ๊ฐํ์ง ์์ต๋๋ค.