Caption Content Review QA 61 KO - teamswyg/laya-tools GitHub Wiki
61 ํ์ ๊ธฐ๋ก์ ๋ ๋ฆฝ ๋ฐ์ดํธยท์ฐธ์กฐ QA
๊ฒํ ํ ํ์ ํ์ผ์ ๋ฐ๊พธ์ง ์๊ณ , 975๊ฐ ๊ธฐ๋ก์ ์ ์ฅ ์ฐ๊ฒฐ๊ณผ ํด์๋ฅผ ๋ ๋ฆฝ์ ์ผ๋ก ํ์ธํ๋ค. 615๊ฐ๋ ๊ธฐ์กด 59 ๊ฒํ ํญ๋ชฉ์ด๊ณ , 360๊ฐ๋ ๊ฐ์ ํ๋ณด์ ๊ด์ธก ํ๋ยท๋ช ์์ ๋ถ์ ๊ฒฝ๊ณ์ ๋ํ ์ถ๊ฐ ์ถ์ด๋ค. ์ ์์ฒญ์ด๋ ํ์ต ์ ๋ต 975๊ฐ๋ฅผ ํ๋ณดํ ๋ป์ ์๋๋ค.
๋๋ 61 ์ค๋น์ฉ ์ฐธ์กฐ ์์ฑ๊ธฐ๋ฅผ ์์ฑํ์ง๋ง ์ค์ ํ์ ์์ฑ์๋ ์๋๋ค. ์ด ๊ฒํ ๋ ๊ทธ ํ์ ์์ฑ๊ณผ ๋ ๋ฆฝ์ธ ์ ์ฅ ํ์ยท๋ฐ์ดํธยท์ฐธ์กฐ ๋์กฐ๋ค. ์ด๋ฏธ ์์ฒ๊ณผ metadata๋ฅผ ์ฝ์์ผ๋ฏ๋ก ๋ธ๋ผ์ธ๋ ๊ฒํ ๊ฐ ์๋๋ฉฐ, ๋ ๋ฆฝ ๋ฐ์ดํฐ ์์ฒ์ด๋ ๋ฌธ์ฅ ์๋ฏธ์ ์ ํ๋๋ฅผ ์๋ก ์ฆ๋ช ํ์ง ์๋๋ค.
๊ณ ์ manifest๋ f8f0b2320bb214f102575384cace477067a0f075b98ee09c071e778d9285224b, ๊ฒฐ๊ณผ receipt๋ report.json์ด๋ค. 31๊ฐ JSON์ SHA์ ํฌ๊ธฐ, ์๋ณธ Go 4๊ฐ ํ์ผ, raw span 98๊ฐ, ์ ์ธ ์ฐ๊ฒฐ 105๊ฐ, 49๊ฐ root์ 172๊ฐ component ๊ด๊ณ๋ฅผ ํ์ธํ๋ค. ์ ์ฒด enum ์ ์ธ์ ๊ณต์ ํ๋ ์ฌ๋ฌ ID๋ ์ ์ฅ๋ ๊ด๊ณ ์์๋๋ก ์ ์งํ๋ค. ๊ธฐ์กด formattedยทnormalizedยทbundle ํด์๋ ์ ์ฅ๋ pointer์ ๋์กฐํ๊ณ , Go ASTยท์์ค formatterยทํ๋ณด ํจ์๋ ์คํํ์ง ์์๋ค.
975๊ฐ์ record digest, 975๊ฐ์ ์ ์ฒด ์ธ์ฉ๊ณผ 9๊ฐ์ ๋ถ๋ถ ์ธ์ฉ ๋ฒ์, 1,860๊ฐ์ request/caption ์ฐธ์กฐ, 6,680๊ฐ์ evidence ์ฐ๊ฒฐ์ด ๋ง์๋ค. 615๊ฐ ์๋ ํญ๋ชฉ ๋ฐ 360๊ฐ ์ถ๊ฐ ํญ๋ชฉ์ด shard์ manifest ์ฌ์ด์ ์ผ๋์ผ๋ก ๋์ํ๋ค. 60๊ฐ ๋ถ๋ชจ, 180๊ฐ ํ๋ณด ์์น, 15๊ฐ ๊ณ์ฝ๊ณผ ํ๋ณด ์ ๋ถํฌ 11๊ฐร2ยท38๊ฐร3ยท11๊ฐร4๊ฐ ์ ์ง๋๋ค. ๋ง์ง๋ง์ ์ ๋ ฅ 31๊ฐ์ ์๋ณธ ์์ค 4๊ฐ๋ฅผ ๋ค์ ์ฝ์ด ๋ณ๊ฒฝ ์์๋ ํ์ธํ๋ค.
| ๊ธฐ์กด ํญ๋ชฉ | scoped consistent | contradicts | omits | uncertain |
|---|---|---|---|---|
| 615๊ฐ ์ ์ฒด | 446 | 94 | 10 | 65 |
| ํ๋ณด ์ค๋ช ์ source fidelity | 177 | 0 | 0 | 3 |
| ํ๋ณด ์ค๋ช ์ request coverage | 32 | 94 | 7 | 47 |
์ด ํ๋ ์์ฑ์์ ํ์ ์ํ๋ฅผ ๋ค์ ์ง๊ณํ ๊ฒฐ๊ณผ๋ค. ์์ฒ ์ถฉ์ค์ฑ๊ณผ ์์ฒญ ์ถฉ์กฑ์ ๋ค๋ฅธ ์ถ์ด๋ฉฐ, consistent๊ฐ ํ๋ณด ์ ๋ต์ด๋ผ๋ ๋ป๋ ์๋๋ค. ์ ํ ๋ฒ์์ unknown 18๊ฐ์ ์ ์ฒด unknown 21๊ฐ, ์ ์ฒด ๊ทธ๋ฃน 17๊ฐ์ known ํฌํจ ๊ทธ๋ฃน 16๊ฐ๋ ๊ทธ๋๋ก๋ค. ๊ธฐ์กด 60 overlay SHA 1beb5c06d3fb70c0a5e0727de793f1890b4ab4a47f1d392a6666b068f096c526๋ ๋ฐ๋์ง ์์๋ค. ํ์ ยท๊ทธ๋ฃนยทsource IDยท๊ธฐ์กด truth๋ provenance์ด๋ฉฐ scorer feature๋ก ๋ง๋ค์ง ์์๋ค.
์ค์ metadata QA๋ ๋ ๋ฒ ์คํํ๋ค. ์ฒซ ์คํ์ verifier๊ฐ legacy Components:null์ ๋ฐฐ์ด๋ก ๊ฐ์ ํด array_shape๋ก ์คํจํ๋ค. ๊ธฐ์กด ์ ์ฅ ํ์์ ๋น ๊ด๊ณ ํํ์ helper๊ฐ ์๋ชป ์ทจ๊ธํ ๊ฒ์ด๋ฉฐ ์๋ฌธ ํ์ ์ ๋ฌธ์ ๋ฅผ ๋ฐ๊ฒฌํ ๊ฒ์ ์๋๋ค. ์คํจ report๋ฅผ ๋ณด์กดํ๊ณ ๊ทธ ํํ๋ง ์ข๊ฒ ์ง์ํ ๋ค ๋ ๋ฒ์งธ ์คํ์์ ํต๊ณผํ๋ค. ์ค๋น์ฉ ํฉ์ฑ race ํ
์คํธ๋ ์ธ ๋ฒ ๋ชจ๋ ํต๊ณผํ๊ณ , ๋ง์ง๋ง์ ํ
์คํธยทํ์ ํ
์คํธ 32๊ฐ์ package pass๋ฅผ ํ์ธํ๋ค. vet๋ ์ธ ๋ฒ ํต๊ณผํ๋ค. ์ฅ๋ถ๋ ledger.json์ ์๋ค.
์ค์ ํ์ ์์ฑ 1ํยท์คํจ 0ํ, ํ์ writer์ ์ค๋น ๋น๋ 2ํยท์คํจ 1ํ ๋ฐ writer ์์ ์ ๋ฐ์ดํธ QA 2ํยท์คํจ 1ํ๋ ๋ณ๋ ์ด๋ ฅ์ผ๋ก ๊ธฐ๋กํ๋ค. ์ด verifier์ ์คํจ์ ์์ง ์์๋ค. ์๋ณธ ํ์ ์์ ยท์ฌ์์ฑ, ์ ์๋ฏธํ์ ยทtruthยท๋ผ๋ฒจยท์๋ณธ graphยทseedยทrolesยทfitยทweightsยท๋ชจ๋ธ ๋๋ ํ๋ณด/API ์คํยทprotected final ์ด๋ยท๊ณต์ ๋ ํฌ ์์ ยท๊ฒ์ ๋ชจ๋ 0์ด๋ค. ๋ณ๋ judge ํ๋ก์ธ์ค 0์ ์ด Codex AI ํ์
์ ๋น์ฉ์ด 0์ด๋ผ๋ ๋ป์ด ์๋๋ฉฐ ๋น์ฉ์ ์ธก์ ํ์ง ์์๋ค. training_ready๋ false๋ค.