99.40.1.1 Regression(회귀) - yojulab/learn_MLs GitHub Wiki

• 데이터에 영향 주는 조건들에 영향력 이용해 데이터에 대한 조건부(가중치) 평균(가장 잘 표현) 구하는 기법.
  ex) 우리 나라 아파트 가격 평균은 얼마인가요 ?
  • 단순 산술 평균(조건 없이) : 3억 --> 전체 추이로는 의미.
  • 구성 요소 가중치 평균(30평수 + 200화장실수 + 100층수 + 500년식) : 개별 예측 가능

조건부 평균

• 구하는 방식 - geogebra
• 독립 변수 1개 : $y = \beta_0 + \beta_1 x_1 (:= y=b+ax [:= y=b+wx]) : y(추정치), bias(편차), \beta_0(가중치), \beta_1(독립변수)$

관련 알고리즘 종류

• Linear Regression
  • 일반식(classical) $$y = \beta_0 + \sum^n_{i=1} \beta_i x_i$$
• Logistic Regression
• Multinomial Classification

적당한 조건부 평균 방식

• 오차(Error) 이용 : Loss Function(비용함수), 오차들을 한 수로 표현, $Error = t - \hat{y} = t-(wx+b): t(결과치), \hat{y}(예측치)$
  • 주로 MSE(평균제곱오차) 사용 : geogebra, $$MSE=\sum_^n{i=1}[t_1-(wx_i+b)]^2$$
  • Optimizer(기울기로 확인) : $$w^{'}=w-\alpa * \raund{loss} / \raund{w} : \alpa(학습률)$$
• 적당한 하이퍼 파라메터 필요.

프로그램으로 살펴보기

• for문을 matrix로 처리 가능 -> 입력 형식을 맞게 바꿈.
• $Y=X\dot W + b : X(matrix), W(matrix), b(scalar)$