• https://ratsgo.github.io/machine%20learning/2017/11/10/CRF/

CRF와 관련된 글 중에 가장 정리가 잘 된 블로그이다. 이 글을 보다 보면 중간에 MLE(Maximum Likelihood Estimation) 수식이 나온다. 그리고 수식을 유도하는 과정이 나오는데 이해를 하기 위해 수식을 정리한다.

아래 수식 전개를 이해 하기 위해서는 다음 세 가지를 먼저 알아야 한다.

• 첫번째는 합성함수의 미분이다.

• 합성함수 f(g(x))를 미분하면 f'(g(x))*g'(x)가 된다.

• 두번째는 로그함수의 미분이다.

• log(x)를 미분하면 1/x가 된다.

• 세번째 로그/지수함수

  • log(xy) = log(x) + log(y), exp(x+y) = exp(x)*exp(y)
  • log(x/y) = log(x) - log(y), exp(x-y) = exp(x)/exp(y)
  • log(X^b) = b*log(x), exp(-x) = 1/exp(x)
  • log(1) = 0, exp(0) = 1
  • log(exp(x)) = exp(log(x)) = x

위 그림에서 첫번째 라인에서 두번째 라인으로 넘어갈때 앞쪽에는 log가 없고 뒤쪽은 log가 있다.( 뒤에 있는 수식만 로그함수이다 )

log(x/y)로 표시된 로그식은 log(x) - log(y)로 바꿀수 있다. 그런데 위에서처럼 첫번째 항은 log가 사라진 이유는 log(exp( x )) - log ( y )식에서 log( exp( x ) ) = x이기 때문에 x - log(y)형식으로 변환된 것이다.

log( exp(x) )=exp( log(x) ) = x

그리고 큰괄호를 없애기 위해 Σ를 분배법칙에 의해 최종식으로 유도된다.

위 식의 네번째 줄 끝에도 -가 있고, 다섯번째 줄 시작에도 -가 있는데 오류인 것 같다.

그렇게 전개된 식은 A, B, C로 각각 분리해서 설명하면

A

1차항 λ를 미분하면 1이기 때문에 생략한다.

B를 하나씩 살펴보자

B

logZ(x) = 위에서 설명한 합성함수 미분으로 전개할수 있다.

전체를 미분하고 내부를 미분한다.

logZ(x)에서 Z(x)를 a라고 하자. log(a)를 미분하면 1/a가 되고 다시 내부 a 즉 Z(x)를 미분한다. 이를 ∂Z(x)/∂λ로 표현한다.

log(x/y) = log(x) - log(y)
{log(x)}` = 1/x
log(x)를 미분하면 1/x가 된다.

두번째 줄도 합성함수의 미분이기 때문에 가 곱해진다. 첨언하면 위 설명은 f(g(x))에서 g’(x)에 해당하는 부분으로 λ에 대해 미분하면 λ를 포함한 시그마는 사라진다.

{f(g(x))}` = f`(g(x)) * g'(x)
f(g(xx))를 미분하면 f`(g(x))와 g`(x)의 곱이된다.
 

세번째줄은 다음 수식을 유도하기 위해 normalize 변수 1/Z를 뒤로 옮긴다. ( 교환법칙 )

가운데 부분이 P(y|x)로 치환한다. 아래 그림 참고

C

람다로 미분하면 2λ가 되고 분자분모에 모두 2가 있으니 약분이 되어 최종식이 된다.

reference

• 합성함수 미분
  • http://bhsmath.tistory.com/184
• 편미분 기호
  • https://ko.wikipedia.org/wiki/%E2%88%82
• 지수/로그함수 미분
  • https://m.blog.naver.com/PostView.nhn?blogId=sbssbi69&logNo=90164383593&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F