statistics - k821209/pipelines GitHub Wiki

표준편차 표준오차

표준편차는 평균에서 멀어진 정도

표준오차는 모평균에서 멀어진 정도. 모평균을 모르기때문에 반복한 실험구를 반복해야한다. 실험구간의 편차라 보면 될듯. 따라서 반복한 실험구의 반복이 없는 실험에 표준오차가 들어있다면 지적해야할듯.

Random variable

http://darkpgmr.tistory.com/147

현실세계에서 어떤 프로세스에 의해서 선택 당할 항목. 코인의 Head, Tail 을 0, 1로 코딩하여 총 100회 중 0: 49회 1:51회 관찰. 여기서 0,1이 Random variable임. 왜 렌덤인가. 확률공간안에서, (0의 분률, 1의 분률), 렌덤으로 선택되어 스코어 되기 때문

다시말하면 관찰하기위해 고정되어 있는 눈이라고 보면 쉬울듯.위의 예를 본다면 0을 보는 눈, 1을 보는 눈으로 나누어서 생각할 수 있을 듯. 좀더 쉽게 생각한다면, 데이터의 표를 그릴때 column명이라고 생각하면 더 쉽다. column명은 "일일교통량" 이 될 수 있고 지식노동자들에 의해서 지속적으로 기록될것이다. 그렇게 기록된 값들의 분포를 통해 밀도 분포를 토대로 어떤 값을 가질 가능성을 추정할 수 있다 이를 density estimation이라 한다. 이렇게 나온 데이터는 궁극적으로는 확률밀도함수로 바뀌게 된다.

확률밀도함수로 바꿀때! Parametric방식은 이미 알고 있는 분포에 껴맞추는 방법임. 이미 알고 있는 분포에 대한 공식을 공부 잘하는 사람들이 만들어놨기 때문에 분산값이랑 평균값 같은것만 구해주면 일은 끝난다. 매우 쉽다. 하지만 보통 분포모양을 알고 있는 경우는 거의 존재하지 않기 때문에 non-parametric 즉 분포(공식)을 모르는 방법을 많이 사용한다. 이때 가장 많이 사용하는 방법이 그냥 Histogram그리는것이다. 그런데 Histogram가지고 공식이 나오지는 않기 때문에 KDE (Kernel density estimation)이라는 것을 한다. 각각의 관찰값하나, 예를들면 x1, 을 가장 잘 뿜을 수 있는 함수로 바꾼다. (뭐 대칭이 되는 함수가 어쩌고 하는 것이 커널임. 뭔말인지?) 그리고 그 함수들을 모두 평균해서 (어떻게? ㅡㅡ;) 하나의 함수로 만드는것이 KDE이다. 그래서. 뭔 커널을 쓸거냐고 물어보는건 그 하나하나의 단위 커널함수를 뭘 쓸거냐 하는거라고 이해하면된다.

# https://stats.stackexchange.com/questions/73032/linear-kernel-and-non-linear-kernel-for-support-vector-machine
Andrew Ng gives a nice rule of thumb explanation in this video starting 14:46, though the whole video is worth watching.

Key Points

Use linear kernel when number of features is larger than number of observations.
Use gaussian kernel when number of observations is larger than number of features.
If number of observations is larger than 50,000 speed could be an issue when using gaussian kernel; hence, one might want to use linear kernel.

penalty parameter C

서포트 벡터머신에서 나오는 C 값. C값이 커지면, 분류가 최대한 정확해지도록 만들어준다. 약간 다른 분류에 치우친 관찰값을 맞추기 위해 억지로라도 노력하게 된다. 예상하듯, 그렇게 되면 일반화가 잘 안되겠지 트레이닝 셋에 과적합하게 될것. "적당한" C값을 정해주는 것이 중요하다.

P value

관찰 디자인 :

• 동전을 50번 던져서 앞면이 나오는 수

가정 디자인 :

• 동전이 앞면이 나오는 확률은 0.5, 관찰 디자인에 따라 1000번의 반복관찰 시뮬레이션
• 50번을 던져서 앞면이 나오는 수 (데이터포인트) * 1000

실제 관찰 :

• 동전을 50번 던져서 앞면이 나온 수가 40번이다.

해석 :

• 가정디자인에서 나온 분포에서 실제관찰 + 더극단값들을 더해서 분포영역의 넓이가 p value. (전통적인 개념)

A p-value means only one thing (although it can be phrased in a few different ways), it is: The probability of getting the results you did (or more extreme results) given that the null hypothesis is true. (http://www.labstats.net/articles/pvalue.html)

적용

관찰디자인 :

• 50개의 edge를 가지는 네트워크의 평균 degree 가정디자인 :
• 50개의 edge를 가지는 네트워크를 1000번 무작위로 생성하고 평균 degree 구함 (네트워크는 무작위이다가 가설) 실제 관찰 :
• 50개의 edge를 가지는 실제 ppi의 평균 degree는 해당 가정디자인의 분포에서 어느 영역을 차지하는가 (극단값까지)