[statistics] why sample mean is unbiased estimator - dsindex/blog GitHub Wiki

흥미로운 질문을 받았다.

Q : sample mean이 어째서 global mean의 unbiased estimator인가?

• 이 질문은 아래와 같이 바꿀 수 있다.

sample mean의 Expection과 global mean이 같은가?

• 배경지식

  • reference 1
    reference 2

• random sample(size n) : (X1, X2, ..., Xn)

trial	X1	X2	...	Xn	sum(Xi)	sample mean(X')	etc
1	0.8	0.4	...	0.5	0.64*n	0.64	<-- a random sample
2	0.7	0.6	...	0.7	0.67*n	0.67
...

• global mean = μ = E(X1) = E(X2) = ... = E(Xn) = E(Xi) = E(X)

• 증명

(X1, X2, ..., Xn) : random sample
Xi : random variable
global mean : μ
sample mean : X'
sum(Xi) = X1 + X2 + ... + Xn = summation of random sample, function itself

(1) X' = sum(Xi)/n  (for each trial)

양변에 Expection을 취하면 :

(2) E(X') = E(sum(Xi) / n)

상수를 밖으로 빼면 :

(3) E(X') = E(sum(Xi)) / n

Expection은 linear operator이므로 sum을 밖으로 빼면 :
 
(4) E(X') = sum(E(Xi)) / n
  
E(Xi)는 모든 i(1...n)에 대해서 동일한 값을 갖으므로 :

(5) E(X') = (n*E(Xi)) / n = E(Xi) = μ = global mean