Latent Dirichlet Allocation

LDA 는 어떤 문서가 주어졌을때 문서내에 잠재된 주제에 대한 확률 모형이다.

예를 들어서 한 LDA 모델이 '고양이 관련' 과 '강아지 관련' 으로 분류될 수 있는 주제를 갖는다고 하자. 각 주제는 다양한 단어를 생성할 가능성이 있다. 예를 들어, '우유','야옹','냥이' 등의 '고양이 관련' 단어를 만들 수 있다. 같은 방식으로 '강아지 관련'의 경우 '개','멍멍','뼈다귀' 등의 단어가 확률이 높을 수 있다.

Bag-of-word

LDA 에서는 단어의 순서를 고려하지 않는 Bag-Of-Word 모델을 사용한다.