Caption Content Review Results 61 KO - teamswyg/laya-tools GitHub Wiki

์„ค๋ช… ๋‚ด์šฉ ๊ฒ€ํ† 61: ๋ฌด์—‡์„ ํ•™์Šตํ•  ์ˆ˜ ์žˆ๋Š”๊ฐ€

๊ธฐ์กด 72๊ฐœ ์š”์ฒญ๊ณผ216๊ฐœ ํ›„๋ณด ์œ„์น˜์˜ ์„ค๋ช… ๋‚ด์šฉ ๊ฒ€ํ† ๋ฅผ ๋งˆ์ณค์Šต๋‹ˆ๋‹ค. ์•ž์„ 60์ด123๊ฐœ ๊ฒ€ํ†  ํ•ญ๋ชฉ์„, ์ด๋ฒˆ61์ด ๋‚˜๋จธ์ง€615๊ฐœ๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ์ด738๊ฐœ๋Š” ๊ฐ™์€ ์ž๋ฃŒ๋ฅผ ์—ฌ๋Ÿฌ ๊ด€์ ์—์„œ ์ฝ์€ ํ•ญ๋ชฉ ์ˆ˜์ด๋ฉฐ738๊ฐœ ๋…๋ฆฝ ์š”์ฒญ์ด๋‚˜ ๋ชจ๋ธ ์‹œํ—˜ ๊ฒฐ๊ณผ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. ์›๋ž˜ ์ •๋‹ตยทํ›„๋ณด ์ˆœ์„œยทunknown21๊ฐœ์™€ ์ „์ฒด17/์•Œ๋ ค์ง„ ์ •๋‹ต์„ ํฌํ•จํ•œ16๊ทธ๋ฃน์€ ์œ ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค.

์›๋ž˜ ๊ฒ€ํ†  ํ•ญ๋ชฉ 60 61 ์ „์ฒด
์ œํ•œ๋œ ๊ทผ๊ฑฐ์™€ ์ผ์น˜ 78 446 524
๊ทผ๊ฑฐ์™€ ์ถฉ๋Œ 17 94 111
์š”๊ตฌ ๋ฒ”์œ„ ๋ˆ„๋ฝ 2 10 12
์ง€์›๋˜์ง€ ์•Š๊ฑฐ๋‚˜ ๋ฏธํ•ด๊ฒฐ 26 65 91
ํ•ฉ๊ณ„ 123 615 738

์ด ํ‘œ์˜ ์ผ์น˜๋Š” ํ›„๋ณด ์Šน์ธ์œจ์ด ์•„๋‹™๋‹ˆ๋‹ค. ์†Œ์Šค ์ฐธ์กฐ, ์š”์ฒญ ํ‘œํ˜„, ๊ตฌํ˜„ ์„ค๋ช…, ์š”์ฒญ ์ถฉ์กฑ ์—ฌ๋ถ€์™€ ๊ณ„์•ฝ ๊ด€์ฐฐ์„ ํ•ฉํ•œ ์ˆ˜์ž…๋‹ˆ๋‹ค. ํ›„๋ณด ์„ค๋ช…์˜ ์ถฉ์‹ค๋„๋งŒ ๋ณด๋ฉด216๊ฐœ ์ค‘207๊ฐœ๊ฐ€ ์ž๊ธฐ ๊ตฌํ˜„๊ณผ ์ผ์น˜ํ•˜๊ณ 9๊ฐœ๋Š” ๋ฏธํ•ด๊ฒฐ์ž…๋‹ˆ๋‹ค. ์š”์ฒญ ์ถฉ์กฑ ์„ค๋ช…์€ ์ผ์น˜35/์ถฉ๋Œ111/๋ˆ„๋ฝ9/๋ฏธํ•ด๊ฒฐ61๋กœ ๋‹ค๋ฅธ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ž…๋‹ˆ๋‹ค. ํ‹€๋ฆฐ ๊ตฌํ˜„์„ ์ •ํ™•ํžˆ ์„ค๋ช…ํ•˜๋Š” ๋ฌธ์žฅ์ด ์žˆ๋Š” ๋งŒํผ, ์ถฉ์‹ค๋„์™€ ์ •๋‹ต์„ ๊ฐ™์€ ๊ฒƒ์œผ๋กœ ์ทจ๊ธ‰ํ•˜๋ฉด ์•ˆ ๋ฉ๋‹ˆ๋‹ค.

ํžŒํŠธ ๋„๊ตฌ์— ์ด ๊ตฌ๋ถ„์ด ํ•„์š”ํ•œ ์ด์œ ๋Š” ๊ฐ„๋‹จํ•ฉ๋‹ˆ๋‹ค. โ€œ์ธ์ ‘ํ•œ ์ค‘๋ณต๋งŒ ์ง€์šด๋‹คโ€๋Š” ์š”์ฒญ์— โ€œ๋ชจ๋“  ์ค‘๋ณต์„ ์ง€์šด๋‹คโ€๋Š” ํ›„๋ณด ์„ค๋ช…์ด ์˜ค๋ฉด, ๊ทธ ํ›„๋ณด๋Š” ์‹ค์ œ ๊ตฌํ˜„์— ์ถฉ์‹คํ•œ ์˜ค๋‹ต ์„ค๋ช…์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฐ ๊ฒฝ์šฐ ๊ธฐ์กด negative๋ฅผ ๊ฐ๋…์— ์‚ฌ์šฉํ•  ์—ฌ์ง€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด โ€œ์ž˜๋ชป๋˜๋ฉด0โ€์ฒ˜๋Ÿผ ์ž˜๋ชป๋จ์˜ ๋ฒ”์œ„๊ฐ€ ๋ชจํ˜ธํ•œ ํ‘œํ˜„์€ ์˜ค๋‹ต์œผ๋กœ ๋‹จ์ •ํ•ด์„œ๋Š” ์•ˆ ๋ฉ๋‹ˆ๋‹ค. ๋ˆ„๋ฝยท๋ฏธํ•ด๊ฒฐ ๊ฒ€ํ†  ์ƒํƒœ๋ฅผ ์ƒˆ0/1 ์ •๋‹ต์œผ๋กœ ๋งŒ๋“ค์ง€ ์•Š๊ณ , ๊ฐ๋…์—์„œ ๋ณด๋ฅ˜ํ•  ๋ฒ”์œ„๋ฅผ ๋”ฐ๋กœ ๊ณ ์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

์ด๋ฒˆ61์€15๊ณ„์—ดยท60์š”์ฒญยท180ํ›„๋ณด ์œ„์น˜๋ฅผ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด60์˜3๊ณ„์—ด์„ ๋‹ค์‹œ ์‹คํ–‰ํ•˜๊ฑฐ๋‚˜ ํŒ๋‹จ์„ ๋ฎ์–ด์“ฐ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ๊ด€์ฐฐ ํ•„๋“œ์™€ ๋ถ€์ •ยท๊ฒฝ๊ณ„๋Š” ๋ณด์กฐ360๊ฐœ record๋กœ ๋‚จ๊ฒผ๊ณ ,61 ์ „์ฒด๋Š”975๊ฐœ record์ž…๋‹ˆ๋‹ค.60์„ ํ•ฉํ•˜๋ฉด1170๊ฐœ record์ง€๋งŒ ์š”์ฒญ์€ ์—ฌ์ „ํžˆ72๊ฐœ์ž…๋‹ˆ๋‹ค. 61 ์ƒ์„ธ ๊ฒ€ํ† , 60 ์ƒ์„ธ ๊ฒ€ํ† , 61 manifest์—์„œ ๊ทผ๊ฑฐ์™€ ๋ฏธํ•ด๊ฒฐ ํ•ด์„์„ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์›๋ž˜59์˜738๊ฐœ pending ํŒŒ์ผ์€ ๋‹น์‹œ ์ƒํƒœ๋ฅผ ๋‚˜ํƒ€๋‚ด๋Š” ๋ถˆ๋ณ€ snapshot์ž…๋‹ˆ๋‹ค. ์ƒˆ60ยท61 overlay๋ฅผ ํ•จ๊ป˜ ์ฝ์œผ๋ฉฐ ๊ณผ๊ฑฐ ํŒŒ์ผ์„ ํ†ต๊ณผ ์ƒํƒœ๋กœ ๊ณ ์น˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.61์˜ manifest์— ๋‚จ์€ ๋…๋ฆฝ ๊ฒ€์ฆ pending ์—ญ์‹œ ์ž‘์„ฑ ์‹œ์ ์˜ ๊ธฐ๋ก์ž…๋‹ˆ๋‹ค. ์ดํ›„ ๋ณ„๋„ ๊ฒ€์ฆ ์˜์ˆ˜์ฆ๊ณผ ์žฅ๋ถ€๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋…๋ฆฝ ๊ฒ€์ฆ์€ ์‹ค์ œ2ํšŒ ์ค‘ ๊ฒ€์ฆ๊ธฐ์˜ legacy null ์ฒ˜๋ฆฌ ๊ฐ€์ • ์˜ค๋ฅ˜1ํšŒ ํ›„ ํ†ต๊ณผํ–ˆ๊ณ , ํŒ์ • ํŒŒ์ผ ์ˆ˜์ •ยท์žฌ์ƒ์„ฑ์€0์ž…๋‹ˆ๋‹ค.31๊ฐœ JSON ํ•€,975๊ฐœ record digest,984๊ฐœ ์ธ์šฉ ๋ฒ”์œ„์™€615+360 ํ•ญ๋ชฉ ๋Œ€์‘์„ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค. ๋…๋ฆฝ ๊ฒ€์ฆ ์„ค๋ช…์˜ report.jsonยทledger.json์€ ๊ณต๊ฐœํŒ์—์„œ ๊ฐ๊ฐ ์œ„ ์˜์ˆ˜์ฆยท์žฅ๋ถ€ ํŒŒ์ผ ์ด๋ฆ„์œผ๋กœ ๋ณด๊ด€ํ•ฉ๋‹ˆ๋‹ค. ํ•ด์‹œยท์›๋ฌธ ์ธ์šฉยท์ฐธ์กฐ์˜ ์ผ์น˜๋Š” ์˜๋ฏธ ํŒ๋‹จ์˜ ๊ฐ๊ด€์  ์ •๋‹ต์ด๋‚˜ ๋ชจ๋ธ ํ’ˆ์งˆ์„ ์ฆ๋ช…ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์‹ค์ œ ์ฝ๊ธฐ๋Š” Codex ํ˜‘์—…์—์„œ AI๊ฐ€ ์ˆ˜ํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฒ€ํ† ์ž๋Š” ์›๋ž˜ caption/fixture/CLI ์ €์ž์™€ ๋‹ค๋ฅด์ง€๋งŒ ์ด์ „ ๊ฒ€ํ† ์™€ ๊ฒฐ๊ณผ metadata๋ฅผ ๋ณด์•˜์œผ๋ฏ€๋กœ blind ํ‰๊ฐ€๋‚˜ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ์ž‘์„ฑ ์›์ฒœ์„ ์ฃผ์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. model_calls=0๋Š” ๋ณ„๋„ judge ์ถ”๋ก /API/benchmark ํ”„๋กœ์„ธ์Šค๋ฅผ ์‹คํ–‰ํ•˜์ง€ ์•Š์•˜๋‹ค๋Š” ๋œป์ด๋ฉฐ ์ด ํ˜‘์—…์˜ AI ์‚ฌ์šฉ๋Ÿ‰์ด๋‚˜ ๋น„์šฉ์ด0์ด๋ผ๋Š” ๋œป์ด ์•„๋‹™๋‹ˆ๋‹ค. ์ผ๋ฐ˜ ํ˜‘์—… ๋น„์šฉ์€ ์ธก์ •ํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ์ƒ์„ฑยท๋นŒ๋“œยท๊ฒ€์‚ฌ helper์˜ ์‹คํŒจ์™€ ์ˆ˜์ •์€ ๊ฐ๊ฐ์˜ ์‹คํ–‰ ์žฅ๋ถ€์— ๋‚จ๊ฒผ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ๊ตฌํ˜„์€ ์›๋ณธ ํ…์ŠคํŠธยท์ •๋‹ต, ๊ฐ๋… ์ ๊ฒฉ์„ฑ, ์‹ค์ œ fit ์ž…๋ ฅ์„ ๋ถ„๋ฆฌํ•˜๋Š” Go ๊ฒฝ๋กœ์ž…๋‹ˆ๋‹ค. ๋‹ต์ด ์—ฌ๋Ÿฌ ๊ฐœ๋ฉด ๋ชจ๋‘ ๋ณด์กดํ•˜๊ณ , ๋‹ต ์—†์Œ์€ ์ด๋ฏธ ํ™•์ธ๋œ negative๋ฅผ ๋ณด์กดํ•˜๋ฉฐ, unknown์€ ํ•™์Šต ๋ผ๋ฒจ์„ ๋งŒ๋“ค์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ์†Œ์Šคยทhelper์—์„œ ํŒŒ์ƒ๋œ ์ž๋ฃŒ๋Š” ๊ฐ™์€ ๊ทธ๋ฃน ์—ญํ• ์„ ๋”ฐ๋ฆ…๋‹ˆ๋‹ค. ๋ถˆํ™•์‹คํ•œ ํ›„๋ณด๋ฅผ ์ˆœ์œ„ ๋ชฉ๋ก์—์„œ ์ง€์šฐ๊ฑฐ๋‚˜ fallback์„ ์ œํ•œํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๋‚ด์šฉ ๊ฒ€ํ†  ์™„๋ฃŒ๋งŒ์œผ๋กœ ํ•™์Šต ์ค€๋น„๊ฐ€ ๋๋‚˜์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. ์‹ค์ œ ์›์ฒœ ๋‹ค์–‘์„ฑ, ์—ญํ• ยทseedยทcoverage ๋™๊ฒฐ๊ณผ bounded loader/์‹คํ–‰ ๊ณ„ํš์ด ๋‚จ์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ ์—ญํ•  ๋ฐฐ์ •ยทfitยท์ƒˆ ๊ฐ€์ค‘์น˜ยท๋ณดํ˜ธ ์ตœ์ข… ํ‰๊ฐ€ ์ฝ๊ธฐ๋Š”0์ด๋ฉฐ training_ready=false์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด15๊ทธ๋ฃนยท5% ํšจ์šฉ ์กฐ๊ฑด๊ณผ ๋„๋ฉ”์ธ๋ณ„ ๋ณดํ˜ธ ์ตœ์ข… ์š”์ฒญ2400๊ฐœ ๋ชฉํ‘œ๋ฅผ ์œ ์ง€ํ•˜๊ณ , ์ƒˆ15์ €์žฅ์†Œ ์กฐ๊ฑด์ด๋‚˜ ๋ชจ๋“  ๊ฐœ๋ฐœ fit์˜2400๊ฐœ ์กฐ๊ฑด์€ ์ถ”๊ฐ€ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.