Hertz AI wiki - 100-hours-a-week/2-hertz-wiki GitHub Wiki

TUNING AI Wiki

๋ณธ ๋ฌธ์„œ๋Š” TUNING ์„œ๋น„์Šค์˜ ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ ๋ฐ ์‹œ์Šคํ…œ ๊ตฌ์„ฑ์— ๋Œ€ํ•œ ๊ธฐ์ˆ  ๋ฌธ์„œ๋กœ, ๋ชจ๋ธ ์„ ์ •, ์ถ”๋ก  ์„ฑ๋Šฅ ์ตœ์ ํ™” ๋ฐฉ์•ˆ, ๊ทธ๋ฆฌ๊ณ  ์ „์ฒด ์„œ๋น„์Šค ์•„ํ‚คํ…์ฒ˜ ์„ค๊ณ„ ์ „๋žต์„ ์ค‘์‹ฌ์œผ๋กœ ์ž‘์„ฑ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์„œ๋น„์Šค ์šด์˜ ๋ฐ ๊ธฐ์ˆ  ๊ณ ๋„ํ™”๋ฅผ ์œ„ํ•œ ๊ธฐ์ค€ ๋ฌธ์„œ ์—ญํ• ์„ ์ˆ˜ํ–‰ํ•˜๋ฉฐ, ์‹ค์งˆ์ ์ธ ์‹œ์Šคํ…œ ๊ตฌํ˜„ ๋ฐ ์šด์˜์— ํ™œ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿงพ ์„œ๋น„์Šค ๊ฐœ์š” ๋ฐ AI ์ ์šฉ ๋ฐฉํ–ฅ

๐Ÿ“Œ ์„œ๋น„์Šค ๊ฐœ์š”

TUNING์€ MZ์„ธ๋Œ€๋ฅผ ์ค‘์‹ฌ์œผ๋กœ ํ•œ ๊ด€๊ณ„ ๊ธฐ๋ฐ˜ ์†Œ์…œ ๋งค์นญ ๋ฐ ์ปค๋ฎค๋‹ˆํ‹ฐ ๋””์Šค์ปค๋ฒ„๋ฆฌ ํ”Œ๋žซํผ์ž…๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž์˜ ์„ฑํ–ฅ, MBTI, ๊ด€์‹ฌ์‚ฌ ๋“ฑ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์œ ์‚ฌํ•œ ๋˜๋Š” ๊ถํ•ฉ์ด ๋งž๋Š” ์‚ฌ๋žŒ๋“ค์„ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ์—ฐ๊ฒฐํ•ด์ฃผ๋Š” ์„œ๋น„์Šค๋กœ, ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๊ธฐ๋Šฅ์„ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค:

  • ์œ ์ € ๊ฐ„ ์„ฑํ–ฅ ๋งค์นญ ๊ธฐ๋ฐ˜ ์ถ”์ฒœ ์‹œ์Šคํ…œ
  • ์ฑ„ํŒ… ๋‚ด ์œ ํ•ด ํ‘œํ˜„ ๊ฐ์ง€๋ฅผ ์œ„ํ•œ ํด๋ฆฐ๋ด‡
  • ๋งค์นญ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์„ฑ์ ์œผ๋กœ ์ฝ˜ํ…์ธ ํ™”ํ•˜๋Š” ๋‰ด์Šค ์ƒ์„ฑ ๊ธฐ๋Šฅ

์ธ๊ณต์ง€๋Šฅ ํŒŒํŠธ์˜ ์—ญํ• 

TUNING์˜ ํ•ต์‹ฌ ์ฐจ๋ณ„์„ฑ์€ ์ž์—ฐ์–ด ๊ธฐ๋ฐ˜์˜ ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ˆ ์„ ํ†ตํ•ด '๊ด€๊ณ„์˜ ์ˆœ๊ฐ„'์„ ์œ ์˜๋ฏธํ•˜๊ฒŒ ์ „๋‹ฌํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.
์ด๋ฅผ ์œ„ํ•ด ๋‹ค์Œ ์„ธ ๊ฐ€์ง€ AI ๋ชจ๋ธ์ด ์•„๋ž˜์™€ ๊ฐ™์€ ์—ญํ• ์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค

๊ธฐ๋Šฅ AI ๋ชจ๋ธ ์—ญํ• 
์œ ์ € ์ถ”์ฒœ jhgan/ko-sbert-nli ์œ ์ € ์„ฑํ–ฅ์„ ๋ฌธ์žฅ ์ž„๋ฒ ๋”ฉ ํ›„ ์œ ์‚ฌ๋„ ๊ธฐ๋ฐ˜ ์ถ”์ฒœ ์ˆ˜ํ–‰
์ฝ˜ํ…์ธ  ์ƒ์„ฑ Qwen/Qwen2.5-7B-Instruct-1M ๋งค์นญ ๊ฒฐ๊ณผ๋ฅผ ๋‰ด์Šค ์ฝ˜ํ…์ธ ๋กœ ๋ณ€ํ™˜ (LLM ํ™œ์šฉ)
๋ชจ๋”๋ ˆ์ด์…˜ beomi/KcELECTRA-small-v2022 ์‹ค์‹œ๊ฐ„ ์ฑ„ํŒ… ์œ ํ•ด ํ‘œํ˜„ ํ•„ํ„ฐ๋ง ๋ฐ ๋ถ„๋ฅ˜ ์ฒ˜๋ฆฌ

๊ฐ ๋ชจ๋ธ์€ ์„œ๋น„์Šค ๊ธฐ๋Šฅ๋ณ„๋กœ ๋ถ„๋ฆฌ๋˜์–ด ๋ฐฐํฌ๋˜๋ฉฐ, FastAPI๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ ํšจ์œจ์ ์œผ๋กœ ์šด์˜๋ฉ๋‹ˆ๋‹ค.

์„ค๊ณ„๋ฌธ์„œ

  • API ์—”๋“œํฌ์ธํŠธ ๋ชฉ๋ก ๋ฐ ๊ธฐ๋Šฅ
  • API ์ž…/์ถœ๋ ฅ ๋ช…์„ธ
  • API ์—ญํ•  ๋ฐ ์—ฐ๋™ ๊ด€๊ณ„
  • API ํ˜ธ์ถœ ๋ฐ ์‘๋‹ต ์˜ˆ์‹œ
  • ๊ธฐ์กด ๋ชจ๋ธ ์ถ”๋ก ์˜ ์„ฑ๋Šฅ ์ง€ํ‘œ
  • ์„ฑ๋Šฅ ๋ณ‘๋ชฉ ์š”์†Œ ๋ฐ ์›์ธ ๋ถ„์„
  • ์ตœ์ ํ™” ๊ธฐ๋ฒ• ๋ฐ ์ ์šฉ ๊ณ„ํš
  • ์ตœ์ ํ™” ์ ์šฉ ํ›„ ๊ธฐ๋Œ€ ์„ฑ๋Šฅ ์ง€ํ‘œ
  • ๋ชจ๋“ˆํ™” ์ ์šฉ ํ›„ ์„œ๋น„์Šค ์•„ํ‚คํ…์ฒ˜ ๋‹ค์ด์–ด๊ทธ๋žจ
  • ๊ฐ ๋ชจ๋“ˆ ์ฑ…์ž„ ๋ฐ ๊ธฐ๋Šฅ
  • ๋ชจ๋“ˆ ๊ฐ„ ์ธํ„ฐํŽ˜์ด์Šค ์„ค๊ณ„
  • ๋ชจ๋“ˆํ™” ๊ธฐ๋Œ€ํšจ๊ณผ ๋ฐ ์žฅ์ 
  • ๋ชจ๋“ˆํ™”๋œ ์„ค๊ณ„์˜ ์„œ๋น„์Šค ์‹œ๋‚˜๋ฆฌ์˜ค ๋ถ€ํ•ฉ ๊ทผ๊ฑฐ
  • ํ˜„์žฌ ์„œ๋น„์Šค ๊ตฌ์กฐ ์š”์•ฝ
  • LLM ๋ชจ๋ธ์˜ LangChain ๋ฏธ์‚ฌ์šฉ ๊ทผ๊ฑฐ
  • LangChain ํ™•์žฅ ๊ฐ€๋Šฅ ๋ฐฉ์•ˆ
  • LLM ์ด์™ธ ๋ชจ๋ธ์˜ ์„œ๋น„์Šค ์š”๊ตฌ ์ถฉ์กฑ ๊ทผ๊ฑฐ ๋ฐ ํ™•์žฅ ๋ฐฉํ–ฅ์„ฑ
  • ํ˜„์žฌ ์„œ๋น„์Šค ๊ตฌ์กฐ ์š”์•ฝ
  • RAG ๋ฏธ์ ์šฉ ๊ฒฐ์ •์˜ ๊ธฐ์ˆ ์  ๊ทผ๊ฑฐ
  • ์„ ํƒํ•œ ๋ฐฉ์‹์ด ์„œ๋น„์Šค ๋ชฉํ‘œ์™€ ๋ถ€ํ•ฉํ•˜๋Š” ์ด์œ 
  • ํ–ฅํ›„ RAG ๋„์ž… ๊ฐ€๋Šฅ์„ฑ ๋ฐ ํ™•์žฅ ๋ฐฉํ–ฅ
  • MCP ๋„์ž… ๋ฐฐ๊ฒฝ
  • MCP ๋„์ž… ์„ค๊ณ„๋„
  • MCP ํ”„๋กœํ† ์ฝœ ์ƒ ๋ฉ”์‹œ์ง€ ํฌ๋งท
  • ๊ธฐ๋Œ€ํšจ๊ณผ์™€ ์ ์šฉ์ƒ์˜ ์–ด๋ ค์›€ ๋ฐ ๊ทน๋ณต ๋ฐฉ์•ˆ
  • ์žฅ๊ธฐ์  ํ™•์žฅ์„ฑ ๋ฐ ๊ธฐ๋Šฅ ๊ตฌํ˜„์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ
  • ๊ฒฐ๋ก  ๋ฐ ๊ณ ์ฐฐ
  • ํ™•์žฅ์„ฑ์„ ๊ณ ๋ คํ•œ ๋ฐฐํฌ ์•„ํ‚คํ…์ฒ˜ ๋‹ค์ด์–ด๊ทธ๋žจ
  • ์‚ฌ์šฉํ•œ ์ธํ”„๋ผ ๊ธฐ์ˆ  ๋ฐ ์„œ๋น„์Šค ๋ช…์„ธ
  • ๋ชจ๋‹ˆํ„ฐ๋ง ๋Œ€์ƒ ์ง€ํ‘œ ๋ชฉ๋ก ๋ฐ ์ˆ˜์ง‘/์‹œ๊ฐํ™” ๋ฐฉ๋ฒ•
  • ๊ฐ„์ด ๋ถ€ํ•˜ ํ…Œ์ŠคํŠธ/์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ฒฐ๊ณผ
  • ์„œ๋น„์Šค์˜ ํ–ฅํ›„ ์„ฑ์žฅ ๋ฐ ์šด์˜์— ๋Œ€ํ•œ ๊ธฐ์—ฌ ์ „๋ง
  • ์ „์ฒด ์„œ๋น„์Šค ์•„ํ‚คํ…์ฒ˜
  • ๋‹จ๊ณ„๋ณ„ ์„ค๊ณ„ ์ ์šฉ ๊ฒฐ๊ณผ ์š”์•ฝ
  • ์‹œ์Šคํ…œ ์„ฑ๋Šฅ ๋ฐ ํ’ˆ์งˆ ํ‰๊ฐ€
  • ํ”„๋กœ์ ํŠธ ์ˆ˜ํ–‰ ํšŒ๊ณ  ๋ฐ ํ‰๊ฐ€
  • ํ–ฅํ›„ ๊ฐœ์„  ๋ฐฉ์•ˆ
  • ์ข…ํ•ฉ ๊ฒฐ๋ก 
โš ๏ธ **GitHub.com Fallback** โš ๏ธ