Caption Content Review QA 61 KO - teamswyg/laya-tools GitHub Wiki

61 ํŒ์ • ๊ธฐ๋ก์˜ ๋…๋ฆฝ ๋ฐ”์ดํŠธยท์ฐธ์กฐ QA

๊ฒ€ํ† ํ•œ ํŒ์ • ํŒŒ์ผ์„ ๋ฐ”๊พธ์ง€ ์•Š๊ณ , 975๊ฐœ ๊ธฐ๋ก์˜ ์ €์žฅ ์—ฐ๊ฒฐ๊ณผ ํ•ด์‹œ๋ฅผ ๋…๋ฆฝ์ ์œผ๋กœ ํ™•์ธํ–ˆ๋‹ค. 615๊ฐœ๋Š” ๊ธฐ์กด 59 ๊ฒ€ํ†  ํ•ญ๋ชฉ์ด๊ณ , 360๊ฐœ๋Š” ๊ฐ™์€ ํ›„๋ณด์˜ ๊ด€์ธก ํ•„๋“œยท๋ช…์‹œ์  ๋ถ€์ • ๊ฒฝ๊ณ„์— ๋Œ€ํ•œ ์ถ”๊ฐ€ ์ถ•์ด๋‹ค. ์ƒˆ ์š”์ฒญ์ด๋‚˜ ํ•™์Šต ์ •๋‹ต 975๊ฐœ๋ฅผ ํ™•๋ณดํ•œ ๋œป์€ ์•„๋‹ˆ๋‹ค.

๋‚˜๋Š” 61 ์ค€๋น„์šฉ ์ฐธ์กฐ ์ƒ์„ฑ๊ธฐ๋ฅผ ์ž‘์„ฑํ–ˆ์ง€๋งŒ ์‹ค์ œ ํŒ์ • ์ž‘์„ฑ์ž๋Š” ์•„๋‹ˆ๋‹ค. ์ด ๊ฒ€ํ† ๋Š” ๊ทธ ํŒ์ • ์ž‘์„ฑ๊ณผ ๋…๋ฆฝ์ธ ์ €์žฅ ํ˜•์‹ยท๋ฐ”์ดํŠธยท์ฐธ์กฐ ๋Œ€์กฐ๋‹ค. ์ด๋ฏธ ์›์ฒœ๊ณผ metadata๋ฅผ ์ฝ์—ˆ์œผ๋ฏ€๋กœ ๋ธ”๋ผ์ธ๋“œ ๊ฒ€ํ† ๊ฐ€ ์•„๋‹ˆ๋ฉฐ, ๋…๋ฆฝ ๋ฐ์ดํ„ฐ ์›์ฒœ์ด๋‚˜ ๋ฌธ์žฅ ์˜๋ฏธ์˜ ์ •ํ™•๋„๋ฅผ ์ƒˆ๋กœ ์ฆ๋ช…ํ•˜์ง€ ์•Š๋Š”๋‹ค.

๊ณ ์ • manifest๋Š” f8f0b2320bb214f102575384cace477067a0f075b98ee09c071e778d9285224b, ๊ฒฐ๊ณผ receipt๋Š” report.json์ด๋‹ค. 31๊ฐœ JSON์˜ SHA์™€ ํฌ๊ธฐ, ์›๋ณธ Go 4๊ฐœ ํŒŒ์ผ, raw span 98๊ฐœ, ์„ ์–ธ ์—ฐ๊ฒฐ 105๊ฐœ, 49๊ฐœ root์™€ 172๊ฐœ component ๊ด€๊ณ„๋ฅผ ํ™•์ธํ–ˆ๋‹ค. ์ „์ฒด enum ์„ ์–ธ์„ ๊ณต์œ ํ•˜๋Š” ์—ฌ๋Ÿฌ ID๋„ ์ €์žฅ๋œ ๊ด€๊ณ„ ์ˆœ์„œ๋Œ€๋กœ ์œ ์ง€ํ–ˆ๋‹ค. ๊ธฐ์กด formattedยทnormalizedยทbundle ํ•ด์‹œ๋Š” ์ €์žฅ๋œ pointer์™€ ๋Œ€์กฐํ–ˆ๊ณ , Go ASTยท์†Œ์Šค formatterยทํ›„๋ณด ํ•จ์ˆ˜๋Š” ์‹คํ–‰ํ•˜์ง€ ์•Š์•˜๋‹ค.

975๊ฐœ์˜ record digest, 975๊ฐœ์˜ ์ „์ฒด ์ธ์šฉ๊ณผ 9๊ฐœ์˜ ๋ถ€๋ถ„ ์ธ์šฉ ๋ฒ”์œ„, 1,860๊ฐœ์˜ request/caption ์ฐธ์กฐ, 6,680๊ฐœ์˜ evidence ์—ฐ๊ฒฐ์ด ๋งž์•˜๋‹ค. 615๊ฐœ ์›๋ž˜ ํ•ญ๋ชฉ ๋ฐ 360๊ฐœ ์ถ”๊ฐ€ ํ•ญ๋ชฉ์ด shard์™€ manifest ์‚ฌ์ด์— ์ผ๋Œ€์ผ๋กœ ๋Œ€์‘ํ•œ๋‹ค. 60๊ฐœ ๋ถ€๋ชจ, 180๊ฐœ ํ›„๋ณด ์œ„์น˜, 15๊ฐœ ๊ณ„์•ฝ๊ณผ ํ›„๋ณด ์ˆ˜ ๋ถ„ํฌ 11๊ฐœร—2ยท38๊ฐœร—3ยท11๊ฐœร—4๊ฐ€ ์œ ์ง€๋œ๋‹ค. ๋งˆ์ง€๋ง‰์— ์ž…๋ ฅ 31๊ฐœ์™€ ์›๋ณธ ์†Œ์Šค 4๊ฐœ๋ฅผ ๋‹ค์‹œ ์ฝ์–ด ๋ณ€๊ฒฝ ์—†์Œ๋„ ํ™•์ธํ–ˆ๋‹ค.

๊ธฐ์กด ํ•ญ๋ชฉ scoped consistent contradicts omits uncertain
615๊ฐœ ์ „์ฒด 446 94 10 65
ํ›„๋ณด ์„ค๋ช…์˜ source fidelity 177 0 0 3
ํ›„๋ณด ์„ค๋ช…์˜ request coverage 32 94 7 47

์ด ํ‘œ๋Š” ์ž‘์„ฑ์ž์˜ ํŒ์ • ์ƒํƒœ๋ฅผ ๋‹ค์‹œ ์ง‘๊ณ„ํ•œ ๊ฒฐ๊ณผ๋‹ค. ์›์ฒœ ์ถฉ์‹ค์„ฑ๊ณผ ์š”์ฒญ ์ถฉ์กฑ์€ ๋‹ค๋ฅธ ์ถ•์ด๋ฉฐ, consistent๊ฐ€ ํ›„๋ณด ์ •๋‹ต์ด๋ผ๋Š” ๋œป๋„ ์•„๋‹ˆ๋‹ค. ์„ ํƒ ๋ฒ”์œ„์˜ unknown 18๊ฐœ์™€ ์ „์ฒด unknown 21๊ฐœ, ์ „์ฒด ๊ทธ๋ฃน 17๊ฐœ์™€ known ํฌํ•จ ๊ทธ๋ฃน 16๊ฐœ๋Š” ๊ทธ๋Œ€๋กœ๋‹ค. ๊ธฐ์กด 60 overlay SHA 1beb5c06d3fb70c0a5e0727de793f1890b4ab4a47f1d392a6666b068f096c526๋„ ๋ฐ”๋€Œ์ง€ ์•Š์•˜๋‹ค. ํŒ์ •ยท๊ทธ๋ฃนยทsource IDยท๊ธฐ์กด truth๋Š” provenance์ด๋ฉฐ scorer feature๋กœ ๋งŒ๋“ค์ง€ ์•Š์•˜๋‹ค.

์‹ค์ œ metadata QA๋Š” ๋‘ ๋ฒˆ ์‹คํ–‰ํ–ˆ๋‹ค. ์ฒซ ์‹คํ–‰์€ verifier๊ฐ€ legacy Components:null์„ ๋ฐฐ์—ด๋กœ ๊ฐ€์ •ํ•ด array_shape๋กœ ์‹คํŒจํ–ˆ๋‹ค. ๊ธฐ์กด ์ €์žฅ ํ˜•์‹์˜ ๋นˆ ๊ด€๊ณ„ ํ‘œํ˜„์„ helper๊ฐ€ ์ž˜๋ชป ์ทจ๊ธ‰ํ•œ ๊ฒƒ์ด๋ฉฐ ์›๋ฌธ ํŒ์ •์˜ ๋ฌธ์ œ๋ฅผ ๋ฐœ๊ฒฌํ•œ ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ์‹คํŒจ report๋ฅผ ๋ณด์กดํ•˜๊ณ  ๊ทธ ํ‘œํ˜„๋งŒ ์ข๊ฒŒ ์ง€์›ํ•œ ๋’ค ๋‘ ๋ฒˆ์งธ ์‹คํ–‰์—์„œ ํ†ต๊ณผํ–ˆ๋‹ค. ์ค€๋น„์šฉ ํ•ฉ์„ฑ race ํ…Œ์ŠคํŠธ๋Š” ์„ธ ๋ฒˆ ๋ชจ๋‘ ํ†ต๊ณผํ–ˆ๊ณ , ๋งˆ์ง€๋ง‰์€ ํ…Œ์ŠคํŠธยทํ•˜์œ„ ํ…Œ์ŠคํŠธ 32๊ฐœ์™€ package pass๋ฅผ ํ™•์ธํ–ˆ๋‹ค. vet๋„ ์„ธ ๋ฒˆ ํ†ต๊ณผํ–ˆ๋‹ค. ์žฅ๋ถ€๋Š” ledger.json์— ์žˆ๋‹ค.

์‹ค์ œ ํŒ์ • ์ƒ์„ฑ 1ํšŒยท์‹คํŒจ 0ํšŒ, ํŒ์ • writer์˜ ์ค€๋น„ ๋นŒ๋“œ 2ํšŒยท์‹คํŒจ 1ํšŒ ๋ฐ writer ์ž์‹ ์˜ ๋ฐ”์ดํŠธ QA 2ํšŒยท์‹คํŒจ 1ํšŒ๋Š” ๋ณ„๋„ ์ด๋ ฅ์œผ๋กœ ๊ธฐ๋กํ–ˆ๋‹ค. ์ด verifier์˜ ์‹คํŒจ์™€ ์„ž์ง€ ์•Š์•˜๋‹ค. ์›๋ณธ ํŒ์ • ์ˆ˜์ •ยท์žฌ์ƒ์„ฑ, ์ƒˆ ์˜๋ฏธํŒ์ •ยทtruthยท๋ผ๋ฒจยท์›๋ณธ graphยทseedยทrolesยทfitยทweightsยท๋ชจ๋ธ ๋˜๋Š” ํ›„๋ณด/API ์‹คํ–‰ยทprotected final ์—ด๋žŒยท๊ณต์œ  ๋ ˆํฌ ์ˆ˜์ •ยท๊ฒŒ์‹œ ๋ชจ๋‘ 0์ด๋‹ค. ๋ณ„๋„ judge ํ”„๋กœ์„ธ์Šค 0์€ ์ด Codex AI ํ˜‘์—…์˜ ๋น„์šฉ์ด 0์ด๋ผ๋Š” ๋œป์ด ์•„๋‹ˆ๋ฉฐ ๋น„์šฉ์€ ์ธก์ •ํ•˜์ง€ ์•Š์•˜๋‹ค. training_ready๋Š” false๋‹ค.