by 카이스트 차미영 교수님

감성 분석(Sentiment Analysis)

Sentiment = Feelings(Attitude, Emotion, Opinion)
일반적으로 binary opposition 사용(찬성/반대, 호/불호, good/bad)
-> sentiment content, positive/negative valence(긍/부정 정도)

■ 사용 예시

• Consumer information: product review
• Marketing: consumer attitudes, trends
• Politics: predict votes and view
• Social: find like-minded individuals or communities

종류

• Aspect-based SA
• Multimodal SA
• Contextual SA
• Sentiment Reasoning
• Domain Adaptation
• Multilingual SA
• Sarcasm Analysis
• Sentiment-aware NLG
• Bias in SA Systems

Topic modeling

문서의 숨겨진 topic을 찾아내는 것

Term-document matrix

문서별로 term의 occurence를 matrix로 표현한 것
occurence가 높은 term을 주제로 선택
다른 의미를 가진 단어(다의어)의 경우 의미가 다르게 쓰여도 같은 의미로 생각
-> latent meaning을 이끌어내는 방법이 필요

Latent Semantic Analysis(LSA)

Documnet x Term(TF-IDF) matrix의 decomposition(SVD)을 사용

U: document-topic matrix
V^T: topic-term matrix

단점: embedding을 해석하기 어려움(음수가 어떤 의미?), 큰 문서 set 필요, 정규분포 가정을 만족하지 않음

Probabilistic LSA(pLSA)

term의 등장 횟수가 아닌 등장 확률 기반


(D: document, Z: topic, W: word)

Latent Dirichlet Allocation(LDA)

Dirichlet Distribution: 각 vector의 모든 요소가 양수이면서 sum이 1인 k(topic의 수)차원 vector의 확률 분포

Assumptions

• 문서들은 토픽들의 혼합으로 구성
• 토픽들은 확률 분포에 기반하여 단어들을 생성

Evaluation of Topic modeling

• Log Likelihood
• Perplexity
• Topic Coherence: 같은 topic에서 확률이 높은 단어들이 서로 유사한지

Deep Learning Model

ProdLDA

VAE와 같은 모티브로 topic을 modeling하는 방법
document(bag of words)를 topic(embedding)으로 encoding하고, topic을 다시 document로 decoding해서
input과 output의 차이가 작도록 하는 topic을 만들도록 학습