Noise Contrastive Estimation (NCE)

• Language Modeling 에 적용된 바 있음

• Posit(기반 아이디어) : 좋은 모델은 logistic regression을 이용해서 Noisy와 Data 를 구분할 수 있어야 한다.

• hinge loss 와 유사함.

• NCE 는 softmax 의 Log Probability 를 최대화 함.