Regression - BD-SEARCH/MLtutorial GitHub Wiki

회귀분석(Regression)

변수와 변수 간의 관계를 유추하는 방법
데이터가 존재할 때, 그 데이터에 적합한 함수를 추정하는 방법.

회귀분석의 분류

선형 회귀분석 (Linear Regression): 선형함수를 추정하는 회귀분석. '회귀분석'이 선형 회귀분석만을 나타내기도 한다.
로지스틱 회귀분석 (Logistic Regression): 이항 분류 문제(True, False로 분류하는 문제)를 해결하는 회귀분석
이외 다항함수 등 다양한 함수로 추정하는 회귀분석이 있다.

회귀분석을 사용하는 전형적인 예

과거의 데이터를 이용해 미래 예측. 지난 10년간 음료 판매량 데이터가 있을 때 회귀분석으로 미래의 음료 판매량을 추정할 수 있다.
비연속적 데이터를 이용해 연속적인 값 예측. 매년 1월 1일마다 국가의 총 인구수를 조사한 데이터가 있을 때 회귀분석으로 매년 7월 1일 등의 데이터를 추정할 수 있다.

그러나 딥러닝에서 회귀분석을 이용하면 더 다양한 것들을 할 수도 있다. 아래 예제는 넓은 범위에서 회귀분석에 속하는 예시이다.

흑백 이미지에 색 입히기(논문: Deep Colorization): 입력이 흑백 이미지이고 출력이 컬러 이미지인 함수를 Regression 기반 model로 구현하였다고 볼 수 있다.
글의 감정 분석하기: 입력이 텍스트이고 출력이 감정(행복 등등)을 가진 정도인 함수를 회귀분석으로 구해내는 Model로 볼 수 있을 것이다.

이와 같이, 입력과 출력이 있으면서 출력이 연속적인 값인 함수는 모두 넓은 범위의 회귀분석으로 볼 수 있다.

참고 자료)

기계학습 - 선형회귀

(1) 로지스틱 회귀 (Logistic Regression)

로지스틱 회귀는 이항분류 문제에 사용되는 회귀로, 특정 분류에 속한다/안 속한다를 판별할 때 사용한다. Sigmoid 함수 등을 이용할 수 있다.

기계학습 - 로지스틱 회귀

(2) 선형 회귀분석

종속 변수 y와 한 개 이상의 독립 변수 X와의 선형 상관 관계를 모델링하는 회귀분석
데이터의 패턴을 비슷하게 모사하는 선형 함수를 찾는 방법.
실제 값과 구한 선형 함수 간에 오차가 발생한다.
Linear Least Squares: 오차 제곱의 합이 최소화되는 선형 함수를 찾는 방법
- 오차 제곱의 합을 쓰는 이유: 함수와 점들의 거리의 합이 최소가 되는 것이 목표이기 때문에.

Reference)