최대 우도 추정 - BD-SEARCH/MLtutorial GitHub Wiki

Likelihood

• Probability (확률)
  • 주어진 확률분포가 있을 때 해당
  • 확률분포가 고정되어 있을 때, 관측에 대한 확률을 구한다.
  • 고정된 distribution 함수 있을 때 그 함수 아래의 공간 크기
  • 확률 = P(관측값 X | 확률분포 D)
• Likelihood (가능도, 우도)
  • 주어진 관측값이 있을 때, 이것이 어떤 확률분포 D에서 왔을 지에 대한 확률
  • 확률분포 함수에서 특정 관측값에 해당하는 값. 확률분포함수(PDF)의 y값.
  • 가능도 = L(확률분포 D|관측값 X)
• probability와 likelihood의 비교
  • 셀 수 있는 사건(이산사건): probability = likelihood
  • 연속 사건: 특정 값에 대한 probaility는 0. likelihood는 PDF 함수 값.

reference

• https://jjangjjong.tistory.com/41

Maximum likelihood estimation

• 최대 우도 추정(maximun likelihood estimation)
  • parameter(모수)가 미지의 θ인 확률분포에서 뽑은 관측값을 바탕으로 확률분포를 추정하는 방법.
• 예: 동전을 10번 던졌을 때, 앞면이 56번 나왔을 경우, 동전이 앞면이 나올 확률은 얼마나 될까?
  • 동전 던지기의 확률 함수는 이항분포(binomial distribution)이라고 하자. 이산 사건이므로 propability function은 likelihood와 동일하다.
  • n=100, x=56(앞면이 나온 횟수)이다. p를 임의의 확률 θ로 가정한다. θ 값을 조절해 가면서 likelihood가 최대가 되는 지점을 찾아본다.(
  • 여기선 θ=0.56이 될 때 likelihood가 0.0801이 되어 최대가 된다. 그러므로 _동전의 앞면이 나올 확률이 0.56_이 될 확률이 가장 높다. 그러므로 θ=0.56으로 추정한다.
• likelihood가 최대가 되는 θ 값을 구하는 방법
  • 확률함수가 미분이 가능한 경우: θ에 대해 편미분을 해서 likelihood가 최대가 되는 θ를 구한다
  • 확률함수가 미분 불가능한 경우: gradient desent 등의 방법을 이용하여 θ 추정.

reference

• https://ratsgo.github.io/statistics/2017/09/23/MLE/