Cost function - SilverQ/dl_study GitHub Wiki

Regression Analysis(Wiki)

• 우리는 주식 예측, 종류 판단 등 알려지지 않은 객체를 식별하거나 미래를 예측해야하는 일이 많다.
• 우리는 이런 경우 관측 가능하거나 과거에 알려진 정보를 토대로 판단을 하게된다.
• 때로는 "특정 조건"을 찾아야 하기도 하며, 때로는 수학적인 관계가 존재할 수 있다.
• 만약 수학적인 관계를 찾아낼 수 있다면?
• 결과를 알지 못하는 입력에 대해서도 결과를 예측할 수 있을 것이다.

선형 회귀

• 앞에 서술한 입력-결과의 수학적 관계를 탐색하기 위해, 우리는 모종의 선형 방정식을 가정한다.
• 가설 : hx = ax + b
• 풀어서 설명하면 결과치 hx는 입력 x에 상수 a의 기울기만큼 비례한다는 것이다. 입력이 없다면 결과는 상수 b가 나온다.
• 지금은 1차 방정식 즉 직선으로 가정한 것이고, 알려진 데이터의 분포를 고려하여 2차, 3차 방정식도 사용이 가능하다.
• 우리는 이 직선의 기울기와 y절편을 알면 수식을 알아낼 수 있다.
• 이처럼 가설을 선형 방정식으로 세우고 데이터를 표현하는 모델을 탐색하는 것을 선형 회귀라 한다.

선형 회귀에서의 비용함수

• 이제 필요한 것은 위의 hx가 실제 y값과 얼마나 차이가 나는지 알아내는 것이고,
• 궁극적으로는 그 차이를 줄이기 위한, 가장 줄일 수 있는 기울기와 y절편을 찾는 것이다.
• 그렇다면 알고 있는 값과 예측한 값의 차이는 가설(hypothesis)에 관한 함수로 나타낼 수 있다.
• 기울기와 y절편의 변화에 따라 값의 차이가 커지거나 작아지는 함수로 볼 수 있으며, 우리는 이를 비용 함수라 부른다.
• 

---

예제

• x와 y가 동일한 예제를 사용하여 기울기 w에 의한 cost 변화를 관찰한다.

1. x = [1, 2, 3]
2. y = [1, 2, 3]

def cost(x, y, w):
    c = 0
    for i in range(len(x)):
        hx = w * x[i]
        c += (hx - y[i]) ** 2
    return c / len(x)
x = [1, 2, 3]
y = [1, 2, 3]
for i in range(-30, 51):
    w = i / 10
    c = cost(x, y, w)
    plt.plot(w, c, 'ro')

• 실행결과

1. cost 함수를 정의하고 기울기를 -30에서 50까지 변화시켜가며 관찰
2. 주어진 x와 y의 관계를 가장 잘 나타내는 것은 y=x 즉 기울기=1인 가설함수이다.
3. 그 결과 w=1인 지점의 cost가 가장 낮은 것을 알 수 있다.
4. 다음으로는 경사하강법을 사용하여 cost를 최소화하는 w값을 찾고자 한다.
5.