State Hints KO - teamswyg/laya-tools GitHub Wiki
๋ผ๋ฒจยท์ด๋ชจ์งยท์ํ ํํธ ์ฌ์ฉํ๊ธฐ
English ยท ์ ์ฒด ํ๊ธ ์ฌ์ฉ๋ฒ ยท ๊ฐ์ ์ด์ #155
ํ์ฌ ๋ชฉํ๋ ๋คผ์ด๋์ ๋ด์ฉ์ ์ ์ ๋น์ฉ์ผ๋ก ๋ถ๋ฅํด ๋ผ๋ฒจยท์ด๋ชจ์งยท์์ ์ํ๋ฅผ ์ ์ํ๋ ๊ฒ์ ๋๋ค. ๋ชจ๋ธ์ด๋ ์ถ๋ก ์์ค์ ๋ฎ์ถ๋ ๊ธฐ๋ฅ์ ํ์ฅํ์ง ์์ต๋๋ค. ์ฌ๋๊ณผ ์์ด์ ํธ๋ ๊ฐ์ Go ๋ช ๋ น๊ณผ JSON์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
ํ์ฌ ๊ฐ๋ฐ ๋ชจ๋ธ v0.2
์ฒซ ์ํ ๋ฒ์๋ ๊ฐ๋ฐ ์์ ์ ์งํยท์๋ฃ ๋ณด๊ณ ยท์ง๋ฌธ ํ์์ ๋๋ค. ๐ ๏ธยทโ ยทโ๋ ์ค์ ๊ฐ๋ฅํ ํ๋ณด์ด๊ณ ์ค์ ๋คผ์ด๋ ๋ผ๋ฒจยท์ด๋ชจ์ง์์ ์ฐ๊ฒฐ์ ์์ง ํ์ธํ์ง ์์์ต๋๋ค. ์๋ฃ ๋ณด๊ณ ๋ ๋ฌธ์ฅ์ ์ฃผ์ฅ์ ๋๋ค. ์คํ ์ฑ๊ณต์ด๋ ์ค์ ์ ๋ฌด ์๋ฃ๋ฅผ ์ฆ๋ช ํ์ง ์์ต๋๋ค.
V0.2 ๋ชจ๋ธ๊ณผ ํ์ต ์๋ฃ๋ ๊ธฐ์กด Go ๋ชจ๋ธ์์ ์ค์ ์ด์ด ํ์ตํ32,960๋ฐ์ดํธ ๋ชจ๋ธ์ ๋๋ค. ๋ณ๋๋ก ์์ฑํ ํ์ต320๋ฌธ์ฅ์ CE+AdamW๋ฅผ ์ ์ฉํด400๋ฒ ๊ฐฑ์ ํ์ต๋๋ค. optimizer๋ ์๋ก ์์ํ์ผ๋ฉฐ Laya ํ์ ๊ฐ์ค์นยทLoRAยท์ฆ๋ฅ ๋ชจ๋ธ์ด ์๋๋๋ค. ๋ชจ๋ธ ํฌ๊ธฐ๋ ๊ทธ๋๋ก์ ๋๋ค.
| ์ ํฉ์ฑ ํ๊ฐ40๊ฑด | ์ด์ Go v0.1 | ์ด์ด ํ์ตํ v0.2 |
|---|---|---|
| ์ ์ฒด ์ ๋ต | 22/40 (55%) | 34/40 (85%) |
| ์๋ฃ ๋ณด๊ณ ์ ๋ต | 1/5 | 5/5 |
| ์ง๋ฌธ ์ ๋ต | 0/5 | 4/5 |
| ์ ๋ขฐ๋0.9 ์ด์์ธ ๋น๋ชจํธ ์ ์ | 3/40 | 17/40 |
๊ด์ธก๋17๊ฐ ์ ์์ ๋ชจ๋ ๋ง์์ง๋ง ์ด์ ์ ๋ฐ๋100%๋ฅผ ๋ปํ์ง ์์ต๋๋ค. ์ ์ฒด6์ค๋ฅ๋ ๋ณด์กดํ๊ณ ํ๊ตญ์ดยท์์ด๋ ๊ฐ17/20์ ๋๋ค. validation NLL๋ก ๋ค ํ๋ณด ์ค ํ๋๋ฅผ ์ ํํ๊ณ ๋ณ๋40๊ฑด์์ ๋ณด์ ํ ๋ค ์ ํ๊ฐ40๊ฑด์ ์ด์์ต๋๋ค. ๋ ํฐ2,048๊ตฌ๊ฐ ๋ชจ๋ธ์ ์ ํ๋์ง ์์์ต๋๋ค. ๋ชจ๋ ์๋ฃ๋ ํฉ์ฑ์ด๋ฉฐ ์ค์ ์ ํ ์ ๋ต์ด ์๋๋๋ค. ์ด test๋ ์ด๋ฏธ ๋ ธ์ถ๋์ผ๋ฏ๋ก ํ์ ๋ชจ๋ธ ์ ํ์ ์ฌ์ฌ์ฉํ์ง ์์ต๋๋ค. ํ์ต ๊ณํยท์ ์ฒด ๊ฒฐ๊ณผ.
PR157์ ํ์ CI๊ฐ ๋ชจ๋ ํต๊ณผํ๊ณ ๋ด์ด ๋์ผ ํธ๋ฆฌ๋ฅผ ๋ณํฉํ์ต๋๋ค. HF ๊ณ ์ revision์ 81335eadd9f2753d3b86c932e9b00c636714e3b4์ด๋ฉฐ18ํ์ผ ์ ์ฒด347,460๋ฐ์ดํธ๋ฅผ ๋ค์ ๋ด๋ ค๋ฐ์ ๋ฐ์ดํธยทSHA๊ฐ ์ผ์นํจ์ ํ์ธํ์ต๋๋ค. ๋ชจ๋ธ์ HF์, Go ์์ค๋ GitHub์ ๋ก๋๋ค. V1 ํ์ผ์ ๊ทธ๋๋ก ์ ์งํฉ๋๋ค.
hf๊ฐ ์ค์น๋ ํ๊ฒฝ์์๋ ๋ชจ๋ธ์ ๋ช
์์ ์ผ๋ก ๋ด๋ ค๋ฐ์ ์ฌ์ฉํฉ๋๋ค. ๊ธฐ๋ณธ ๋ช
๋ น์๋ ์๋ ๋ชจ๋ธ ๋ค์ด๋ก๋๊ฐ ์๊ณ ๋ชจ๋ธ์ ์ง์ ํ์ง ์์ผ๋ฉด ํ์ตํ์ง ์์ ๊ท์น์ ์๋๋ค.
hf download JooYoon/riidolaya-statehint-go-v0.2 statehint.rsh --revision 81335eadd9f2753d3b86c932e9b00c636714e3b4 --local-dir ./models/statehint-v0.2
riidolaya state-hint --model ./models/statehint-v0.2/statehint.rsh --text '์ด API์์ ์ฌ์๋ ํ์๋ ์ด๋์ ์ค์ ํ๋์?'
์ค์ ๊ฒ์ ๋ชจ๋ธ์ CLI ์ํ4๋ฌธ์ฅ์ ๋ถ๋ฅ4/4๊ฐ ๊ธฐ๋์ ์ผ์นํ์ง๋ง ์ ๋ขฐ๋ ๊ธฐ์ค์ ๋์ ์ง๋ฌธ1๊ฑด๋ง ๋ผ๋ฒจยท์ด๋ชจ์ง๋ฅผ ์ ์ํ์ต๋๋ค. ์งํ0.858ยท์๋ฃ๋ณด๊ณ 0.821ยท์์ 0.815๋ ๋ณด๋ฅํ์ต๋๋ค. ํฉ์ฑ catalog๋ง ์ฌ์ฉํ์ผ๋ฉฐ ์ํ ๋ณ๊ฒฝยท์๋น์ค ์ฐ๊ธฐ0์ ๋๋ค. ์ด ํ๋ก์ธ์ค์ OS ์ต๋RSS๋5,488,640๋ฐ์ดํธ(5.23MiB)๋ก ๋ชจ๋ธ ๋ก๋ฉยทJSONยท๊ณํ์ ํฌํจํฉ๋๋ค. ์ค์ Riido ์กฐํ ๋น์ฉ๊ณผ ์ง์ ์๋น์ค ๋ฉ๋ชจ๋ฆฌ๋ ์ธก์ ํ์ง ์์์ต๋๋ค. ๋ณ๋ ๊ฐ์ ๋ฌธ์ฅ50๋งํ warm ์ ์ ๊ณ์ฐ ํ๊ท ์1.89ยตs์ด๋ฉฐ JSONยท๊ณํยท์์ยทRSSยทGPU๋ ์ ์ธ๋ฉ๋๋ค. ๋์ ์ธก์ ๋ฒ์๊ฐ ๋ค๋ฆ ๋๋ค.
๋ค์ ์ ์ฉ ๊ณํ: ์งํยท์๋ฃ ๋ณด๊ณ ยท์ง๋ฌธ pilot. ํ์ฌ bridge๋ ์กฐํ interface์ ํฉ์ฑ ํ ์คํธ๋ง ์๊ณ ์ค์ private Riido reader๋ ์ฐ๊ฒฐํ์ง ์์์ต๋๋ค.
์ฒซ ๋ฒ์ v0.1 ๊ธฐ๋ก
riidolaya state-hint --text "์ด ์์
์ ์ทจ์ํด ์ฃผ์ธ์." --json
riidolaya state-hint --model ./statehint.rsh --jsonl < requests.jsonl
๋ชจ๋ธ์ ์ง์ ํ์ง ์์ผ๋ฉด ํ์ตํ์ง ์์ ๊ท์น์ ์ฌ์ฉํฉ๋๋ค. ์ถ๋ ฅ์ intent๋ ์ฌ๋ ๊ฐ์ง ์๋ฏธ ์ค ํ๋์ด๊ณ emoji_code๋ ํ์์ฉ ์ฝ๋์
๋๋ค. ์ ํ์ ์ธ context์๋ ํ์ฌ ๋ผ๋ฒจ ํ๋ณดยท์ํยท๋ฒ์ ยท์ด๋ฒคํธ ์ ๋ณด๋ฅผ ๋ฃ์ต๋๋ค. ํ์ฌ๋ mode:shadow, mutation_executed:false์ด๋ฉฐ ์ค์ APIยท๋ฐ์ยท์๋ฆผ์ ์คํํ์ง ์์ต๋๋ค. JSON์ trusted:true ์์ฒด๋ ๊ถํ์ด๋ ์ฌ์ค ์ฆ๋ช
์ด ์๋๋๋ค.
Go ๋ชจ๋ธ์ ์ค์ ์ง๋ํ์ตํ 32,960๋ฐ์ดํธ ๋ชจ๋ธ์ ๋๋ค. 400๊ฐ ํฉ์ฑ ๊ฐ๋ฐ ํ๊ฐ์์ 317๊ฐ๊ฐ ๋ง์์ผ๋ฉฐ ํ๊ตญ์ด 85%, ์์ด 73.5%์์ต๋๋ค. ๋ค๋ง ์๋ฃ ๋ณด๊ณ 50๊ฐ๋ฅผ ์ ๋ถ ์งํ ๋ณด๊ณ ๋ก ์๋ชป ๋ถ๋ฅํ์ต๋๋ค. ์ ๋ขฐ๋ 0.9 ์ด์์ธ ๋น๋ชจํธ ๊ฒฐ๊ณผ136๊ฐ๋ ์ด ๊ฐ๋ฐ ์๋ฃ์์ ๋ชจ๋ ๋ง์์ง๋ง, ์ด์ ์ ํ๋๋ ๋ ๋ฆฝ ํ๊ฐ๋ฅผ ๋ปํ์ง ์์ต๋๋ค. ๊ฐ์ ์งง์ ๋ฌธ์ฅ์ ๋ฐ๋ปํ ์ํ ๋ฐ๋ณต ์ ์ ๊ณ์ฐ์ ์ฝ2ยตs์์ผ๋ฉฐ JSONยท์ํ ๊ณํยท์์ยท์ ์ฒด ๋ฉ๋ชจ๋ฆฌ๋ ์ ์ธ๋ฉ๋๋ค.
Laya ์๋ณธ์ ๋ง์ง๋ง ์ ํ์ธต1,025๊ฐ๋ ์ค์ MPS์์ ํ์ธํ๋ํ์ต๋๋ค. ๋๊ฒฐ๋ ์๋ถ๋ถ๊ณผ ์ ์ฅยท์ฌ๋ก๋ฉ์ ํ์ธํ์ง๋ง, ์ ๋ต์ ์ ํ148/400์ผ๋ก ๋์ง ์์๊ณ ํ๊ตญ์ด๋12.5%์์ต๋๋ค. 4,252๋ฐ์ดํธ ํ์ผ์ ์ ์ฒด Laya๋ฅผ ํ์๋ก ํ๋ ํ๋ผ๋ฏธํฐ ๊ต์ฒด๋ณธ์ด๋ฉฐ ๋จ๋ ์ ๋ฉ๋ชจ๋ฆฌ ๋ชจ๋ธ์ด ์๋๋๋ค.
๋ฐ์ดํฐ2,400๊ฐ๋96์ธ์ด๋ณ ํ ํ๋ฆฟยท48๊ฐ ๊ฐ๋ ์์ ํ๊ตฌ ๋ณํ์ ๋๋ค. ์ค์ ์ฌ์ฉ์ ๋ฐ์ดํฐ๋ ๋ ๋ฆฝ ์ ํ ์ ๋ต2,400๊ฐ๊ฐ ์๋๋๋ค. ๋ ๋ชจ๋ธ ๋ชจ๋ ๊ฐ๋ฐ์ฉ์ด๋ฉฐ ์ด์ ์ํ ๋ณ๊ฒฝ์ ์ฑํํ์ง ์์์ต๋๋ค. ๋ค์ ๋จ๊ณ๋ ์ ํ๊ฐ ๊ตฌ๊ฐ, ์๋ฃ/์งํ ๊ตฌ๋ถ, multilingual ๋น๊ต ๋ฐ ์ ๋ขฐํ ์ ์๋ adapter์ shadow ๊ด์ธก์ ๋๋ค.
๊ฐ๋ฐ ๋ชจ๋ธ ํ์ผ: Go v0.1 ยท Laya ์ต์ข ์ธต v0.1. ๊ฒ์ํ31ํ์ผ ์ ์ฒด๋ฅผ ๋ค์ ๋ด๋ ค๋ฐ์ ๋ฐ์ดํธยทSHA๋ฅผ ๋์กฐํ์ต๋๋ค. CI ํต๊ณผ ํ ๋ด์ด ๋์ผ ์์ค ํธ๋ฆฌ๋ฅผ ๋ณํฉํ์ต๋๋ค. ๋ชจ๋ธ ํ์ผ์ GitHub์ ์ฌ๋ฆฌ์ง ์์์ต๋๋ค.