Week15 Day5 - ai-esg/our-history GitHub Wiki

ํŒ€ NLP 11์กฐ Week15 Day5

๋ชฉ์ฐจ

์ผ์ž

  • 2021.11.12 ๊ธˆ

ํŒ€์›

  • ๋ฌธ์„์•”_T2075
  • ๋ฐ•๋งˆ๋ฃจ์ฐฌ_T2078
  • ๋ฐ•์•„๋ฉ˜_T2090
  • ์šฐ์›์ง„_T2137
  • ์œค์˜ํ›ˆ_T2142
  • ์žฅ๋™๊ฑด_T2185
  • ํ™ํ˜„์Šน_T2250

์ฃผ๊ฐ„ ์ผ์ •

ํ”ผ์–ด์„ธ์…˜

e-mail

SUB OBJ๊ฐ€ 1์Œ ์ด์ƒ์ผ ๊ฒฝ์šฐ ๋ฌธ์žฅ์„ ์ถ”๊ฐ€ํ•œ๋‹ค

ํ˜•์‹

(๋ณต์‚ฌํ•œ ๋ฌธ์„œ๊ฐ€ ์™„์ „ํžˆ ๋˜‘๊ฐ™์ด ๋ณด์—ฌ์•ผ ํ•ฉ๋‹ˆ๋‹ค) context :

sentence
"{text}"

Document name :

split_{i}.csv

FAQ

(์ด๊ฑฐ ์ ์–ด์ฃผ์„ธ์š”)

๋™์ผ ๋‹จ์–ด๊ฐ€ ์—ฌ๋Ÿฌ๋ฒˆ ๋“ฑ์žฅํ•  ๊ฒฝ์šฐ
  • ํ•˜๋‚˜์˜ ๋‹จ์–ด๋งŒ ์—”ํ‹ฐํ‹ฐ๋กœ ์„ ํƒ. ๋‚˜๋จธ์ง€๋Š” ์ œ๊ฑฐ.
๋ฌธ์žฅ์ด ์•„๋‹ˆ๊ฑฐ๋‚˜ entity ๊ฐ€ ์—†๋Š”๊ฒฝ์šฐ
  • ์‚ญ์ œํ•˜๊ฑฐ๋‚˜ ์•„๋ฌด check ์—†์ด ๋„˜๊ธฐ๊ฑฐ๋‚˜
์ˆ˜์‹์–ด? ์—”ํ‹ฐํ‹ฐ์— ํฌํ•จํ•ด์•ผ ํ•˜๋Š”๊ฐ€?
  • ๋ฌดํ•œํžˆ ๊ธด ๋ฉ”๋ชจ์ง€
  • ํŠœ๋ง ํ…Œ์ŠคํŠธ์˜ ์ค‘์š”ํ•œ ์ธก๋ฉด์€ ๊ธฐ๊ณ„๊ฐ€ ์ž์‹ ์˜ ๋ง๋กœ ์Šค์Šค๋กœ๋ฅผ ๊ธฐ๊ณ„๋กœ ํ‘œํ˜„ํ•ด์•ผ ํ•œ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค.
  • cpu๊ฐ€ ๋””์ง€ํ„ธ ์‹ ํ˜ธ๋ฅผ ์•„๋‚ ๋กœ๊ทธ ์‹ ํ˜ธ๋กœ ๋ณ€ํ™˜์‹œํ‚จ๋‹ค.
    • ๊ฒฐ๋ก  :์ˆ˜์‹ํ•˜๋Š” ๋‹จ์–ด๋„ ํฌํ•จ ๊ฐ€๋Šฅ. ๋‘˜ ๋‹ค ๊ฐ€๋Šฅ. ๋„ˆ๋ฌด ๊ธด ๊ฑด ํ”ผํ•˜์ž.(6์ธ ์ค‘ 4์ธ ์ฐฌ์„ฑ)
๋ณธ ๋ฌธ์„œ์—์„œ ๊ธฐ์ˆ ํ•˜๋Š” ์„ธ๋ถ€ ๋ถ„๋ฅ˜ ๊ฐœ์ฒด๋ช… ๋ฒ”์œ„๋Š” ๋ช…์‚ฌ, ๋ณตํ•ฉ๋ช…์‚ฌ ๊ทธ๋ฆฌ๊ณ  ์ผ๋ถ€ ๋ช…์‚ฌ๊ตฌ
ํ˜•ํƒœ๋ฟ ์•„๋‹ˆ๋ผ ๋™์‚ฌ๊ตฌ๋‚˜ ์ ˆ ํ˜•ํƒœ์˜ ๊ฐœ์ฒด๋ช…์ด ๋  ์ˆ˜ ์žˆ๋Š” ๋ชจ๋“  ํ˜•ํƒœ๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํ•œ๋‹ค.
ํ˜•ํƒœ์†Œ๋ถ„์„์€ ๋ช…์‚ฌ, ๋™์‚ฌ, ํ˜•์šฉ์‚ฌ, ๋ถ€์‚ฌ, ์กฐ์‚ฌ, ์–ด๋ฏธ ๋“ฑ์˜ ํ˜•ํƒœ์†Œ ๋‹จ์œ„ ๋ฐ ์ ํ•ฉํ•œ ํ’ˆ์‚ฌ๋ฅผ
์ธ์‹ํ•˜๋Š” ๊ฒƒ์ด ๋ชฉํ‘œ์ธ ๋ฐ˜๋ฉด, ๊ฐœ์ฒด๋ช… ์ธ์‹์€ โ€œํ™๊ธธ๋™โ€(๋ช…์‚ฌ)๊ณผ ๊ฐ™์ด 1๊ฐœ์˜ ํ˜•ํƒœ์†Œ๊ฐ€
๊ฐœ์ฒด๋ช… ๋‹จ์œ„๊ฐ€ ๋  ์ˆ˜๋„ ์žˆ์ง€๋งŒ โ€œ10์‹œ๋ถ€ํ„ฐ 12์‹œ๊นŒ์ง€โ€(๋ช…์‚ฌ๊ตฌ)์™€ ๊ฐ™์ด 2๊ฐœ ์ด์ƒ์˜
ํ˜•ํƒœ์†Œ๋กœ ๊ตฌ์„ฑ๋œ ํ˜•ํƒœ๊ฐ€ ๊ฐœ์ฒด๋ช… ๋‹จ์œ„๊ฐ€ ๋  ์ˆ˜๋„ ์žˆ๋‹ค.
relation, entity ์ˆ˜์ • ์‚ฌํ•ญ(์˜๊ฒฌ)
  • 11๋ฒˆ. ๋ฐ˜์˜์–ด ์ œ๊ฑฐ
  • 2๋ฒˆ. ๋ณ„์นญ์˜ ํ™•์žฅ. term๋ฟ ์•„๋‹ˆ๋ผ org, per์— ๋Œ€ํ•ด์„œ๋„ ๊ฐ€๋Šฅํ•˜๋„๋ก.
    • ex) ํŠœ๋ง - ์ปดํ“จํ„ฐ ๊ณผํ•™์˜ ์•„๋ฒ„์ง€. ์ด๊ฒƒ์€ no-relation์ž„. ์ด๋ฅผ 2์— ํ†ตํ•ฉ์‹œํ‚ค๋ ค๋Š” ๊ฒƒ.
    • term-term๊ณผ per-per์„ ๊ฐ™์€ ๋ผ๋ฒจ์„ ํ•˜๋ฉด per-term์˜ ์ฒ˜๋ฆฌ ๋“ฑ์—์„œ ํ•™์Šต์— ์–ด๋ ค์šธ ์ˆ˜ ์žˆ๋‹ค.
  • term์˜ ๋ถ„๋ฆฌ. term์ด ๋„ˆ๋ฌด ํฌ๋‹ค.

ํŒ€ํ”„๋กœ์ ํŠธ ์•„์ด๋””์–ด

  1. ๊ฐœ์ธ ๋งž์ถคํ˜• ์ž๋™์‘๋‹ต๊ธฐ (๊ตฌํ˜„์ด ์–ด๋ ค์›€)

  2. ์ปดํ“จํ„ฐํ•œํ…Œ ๋ฌธ์žฅ ์ž…๋ ฅํ•ด์„œ ์ผ ์‹œํ‚ค๊ธฐ

  3. ๊ฐ์ • ๋ถ„์„

    • ์ผ๊ธฐ
    • ์นดํ†ก (๋ฐ์ดํ„ฐ๋งŒ๋“ค๊ธฐ๊ฐ€)
    • ์Œ์•…์ถ”์ฒœ
  4. ๋ฆฌ๋ทฐ ๋ถ„์„

    • ๊ธ์ •/๋ถ€์ •๋ฆฌ๋ทฐ, ๊ธ์ •/๋ถ€์ • ํ‚ค์›Œ๋“œ? ํ”ผ๋“œ๋ฐฑ?
      • ๋ผ๋ฒจ์„ ์ ๊ฒŒํ•˜๋ฉด 80%
      • ์ €ํฌ๊ฐ€ ๋ถ„๋ฅ˜
      • mrc์ฒ˜๋Ÿผ ํ‚ค์›Œ๋“œ ์ถ”์ถœํ•˜๊ธฐ or ๋ผ๋ฒจ์— ๋”ฐ๋ผ์„œ ๋ฌธ์žฅ ๋ถ„๋ฅ˜ํ•˜๊ธฐ.
    • ๊ฐ€๊ฒŒ ๋ฆฌ๋ทฐ ๋Œ“๊ธ€๋“ค ํฌ๋กค๋ง ํ›„ ํ•ด๋‹น ๊ฐ€๊ฒŒ ์‚ฌ๋žŒ๋“ค ๋ฐ˜์‘? ์ •๋„ ๋ฝ‘๋Š”๊ฒƒ๋„ ์ข‹์„ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค