Week12 Day1 - ai-esg/our-history GitHub Wiki

ํŒ€ NLP 11์กฐ Week12 Day1

๋ชฉ์ฐจ

์ผ์ž

  • 2021.10.18 ์›”

ํŒ€์›

  • ๋ฌธ์„์•”_T2075
  • ๋ฐ•๋งˆ๋ฃจ์ฐฌ_T2078
  • ๋ฐ•์•„๋ฉ˜_T2090
  • ์šฐ์›์ง„_T2137
  • ์œค์˜ํ›ˆ_T2142
  • ์žฅ๋™๊ฑด_T2185
  • ํ™ํ˜„์Šน_T2250

์ฃผ๊ฐ„ ์ผ์ •

ํ”ผ์–ด์„ธ์…˜

์ถ”๊ฐ€ ๊ฒฐ์ •์‚ฌํ•ญ

  • ์ฝ”๋“œ ์ดํ•ด๋ฅผ ์œ„ํ•ด PR์‹œ 6๋ช… approve๋ฅผ ๊ธฐ๋Œ€ํ•ด๋ณด์ž.
  • ํ”ผ์–ด์„ธ์…˜์—์„œ ์ฝ”๋“œ๋ฆฌ๋ทฐ๋ฅผ ํ•ด ๋ณด์ž (์ตœ๋Œ€ํ•œ ๋น ๋ฅด๊ฒŒ)

ํŒ€ ๋ถ„๋ฐฐ

  • Reader

    • ์šฐ์›์ง„
    • ์œค์˜ํ›ˆ
    • ํ™ํ˜„์Šน

  • Retrieval

    • ๋ฌธ์„์•”
    • ์žฅ๋™๊ฑด
    • ๋ฐ•์•„๋ฉ˜
    • ๋ฐ•๋งˆ๋ฃจ์ฐฌ

Read

  • reader.py๋กœ class๋ฅผ ๋งŒ๋“ค์–ด ๋ชจ๋ธ๊ณผ ํ† ํฌ๋‚˜์ด์ €๋ฅผ ๋ณ„๋„๋กœ ๋ฐ›์•„์˜ค๋„๋ก ์ˆ˜์ •
  • read/train.py์˜ run_mrc ํ•จ์ˆ˜์˜ ๋‚ด๋ถ€ ํ•จ์ˆ˜๋ฅผ class ํ•จ์ˆ˜๋กœ ์ˆ˜์ •ํ•˜์—ฌ ์ฝ”๋“œ์˜ ๊ฐ€๋…์„ฑ ๋†’์ผ ์˜ˆ์ •

Retrieval

  • ์„ฑ๋Šฅ์ด ๋„ˆ๋ฌด ๋‚˜์˜๋‹ค. ๋น ๋ฅด๊ฒŒ dense embedding์„ ๊ตฌํ˜„ํ•˜์ž. (์ˆ˜์š”์ผ)
  • Dense embedding ๊ณต๋ถ€ํ•˜๊ณ  ๋ฐœํ‘œ, ๊ตฌํ˜„ (๋ฐ•๋งˆ๋ฃจ์ฐฌ)

data ๋ถ„์„ (+ ๊ฐ ํŽ˜์ด์ฆˆ๋ณ„ input - output)

  • ์‹œ๊ฐ„์ด ๋‚จ๊ฑฐ๋‚˜, ๋‹ค์Œ ๋„์ „์ด ์–ด๋ ต๋‹ค๋ฉด ์งฌ์„ ๋‚ด์„œ ์‹œ๋„ํ•ด ๋ณด์ž. ๋น ๋ฅผ์ˆ˜๋ก ์ข‹๋‹ค.