NLP - accidentlywoo/legacyVue GitHub Wiki

NLP

https://nlp.stanford.edu/IR-book/html/htmledition/stemming-and-lemmatization-1.html

Preprocessing

μžμ—°μ–΄ 뢄석

  • ν˜•νƒœμ†Œ 뢄석
  • ꡬ문 뢄석
  • 의미 뢄석
  • λ‹΄ν™” 뢄석(잘 μ•ˆλ¨)
  • μ€‘μ˜μ„± ν•΄μ†Œ
  • λ§žμΆ€λ²•κ²€μ‚¬

--->

μ‘μš© 기술

  • 검색
  • 온라인 κ΄‘κ³ 
  • μžλ™λ²ˆμ—­
  • 감정뢄석
  • μŒμ„±μΈμ‹

cf. ν¬ν„°μŠ€ μ•Œκ³ λ¦¬μ¦˜.

  • ν˜•νƒœμ†Œ 뢄석 : 토큰 뢄리(μ–΄κ°„), μ–΄κ°„ μΆ”μΆœ, ν’ˆμ‚¬ λΆ€μ°©, 색인, 벑터화
    • ν˜•νƒœμ†ŒλΆ„μ„ = μ–΄κ°„ + ν’ˆμ‚¬ 뢄석
    • 라지 μŠ€μΌ€μΌ λ””λ©˜μ Όμ—μ„œ λ­˜ν•˜λ©΄ λ²‘ν„°λΌμ΄μ¦ˆ
    • μ „μ €λ¦¬μ˜ 거의 λ§ˆμ§€λ§‰ 단계
    • ν˜•νƒœμ†Œ 뢄석이 λλ‚˜λ©΄ : written text라고 ν‘œν˜„ν•œλ‹€.
    • 백였브 μ›Œλ“œ λͺ¨λΈ : (voca)λ³΄μΌ€λΆˆλž„λ¦¬λ₯Ό λ²‘ν„°ν™”ν•˜λŠ” κ³Όμ •.
    • 덴슀 벑터 : ?? -> λ”₯λŸ¬λ‹μ—μ„œ μ“Έ 수 μžˆλ‹€.
  • 벑터 ν‘œν˜„μ„ 무얼 μ‚¬μš©ν•˜λŠ”μ§€ μ•Œμ•„μ•Ό ν•œλ‹€.
  • ꡬ문 뢄석 : λ¬Έμž₯ 경계 인식, ꡬ문뢄석, 곡기어, 개체λͺ… 사전 ꡬ좕(PLOT, 수치, μ™Έκ΅­μ–΄ ν•œκΈ€ ν‘œκΈ°), 개체λͺ… 인식
    • 체언 / μˆ˜μ‚¬ -> NER(?)λ₯Ό μΆ”μΆœν•  수 μžˆλ‹€.
    • 단어와 단어 / λ¬Έμž₯κ³Ό λ¬Έμž₯ μ‚¬μ΄μ˜ μœ μ‚¬μ„±μ„ 찾을 수 μžˆλ‹€.
    • 벑터 μŠ€νŽ˜μ΄μŠ€μ—μ„œ 계산을 ν•  수 μžˆλ‹€.
    • ν•˜μ΄μŠ€ν€˜μ–΄ PMI^2
  • 전톡적인 뢄석 단계, κΈ€μ˜ λͺ¨μ–‘μ„Έλ‘œ νŒŒμ•…ν•  수 μžˆλŠ” 단계
  • 의미 뢄석 : λŒ€μš©μ–΄ ν•΄μ†Œ(λŒ€λͺ…사, λ‘λ¬Έμžμ–΄, μ•½μ–΄, 수치), 의미 μ€‘μ˜μ„± ν•΄κ²°(동λͺ…이인, 이λͺ…동인)

colourless green ideas sleep furiously

  • μƒμ˜μ–΄, ν•˜μ˜μ–΄ , 관계어,
  • μ‹ μ‘°μ–΄, 비속어 관리λ₯Ό λ”°λ‘œ ν•΄μ€˜μ•Ό ν•œλ‹€.
  • λ‹΄λ‘  뢄석 : λΆ„λ₯˜, ꡰ집, 쀑볡, μš”μ•½, κ°€μ€‘μΉ˜, μˆœμ„œν™”, ν† ν”½ λͺ¨λΈλ§, 이슈 νŠΈλž˜ν‚Ή, ν‰νŒλΆ„μ„, 감성뢄석, 볡합논증 뢄석

λ¬Έμž₯ > μ–΄μ ˆ > 단어 > ν˜•νƒœμ†Œ

  • ν˜•νƒœμ†Œμ™€ 단어

  • 단어 : λœ»μ„ μ§€λ‹ˆκ³  ν™€λ‘œ 쓰일 수 μžˆλŠ” 말

  • ν˜•νƒœμ†Œ

    • μžλ¦½μ„±μ— 따라 : 자립 ν˜•νƒœμ†Œ / 의쑴 ν˜•νƒœμ†Œ
    • μ˜λ―Έμ— 따라 : μ‹€μ§ˆ ν˜•νƒœμ†Œ / ν˜•μ‹ ν˜•νƒœμ†Œ

-> μ‹€μ§ˆ + 자립 ν˜•νƒœμ†Œ : λͺ…사

KoNLPy, NLTK

μŒμ†Œ 음절