Gradient descent method - SilverQ/dl_study GitHub Wiki

경사하강법(Wiki)

• 기본 아이디어는 cost function의 비용이 낮은 쪽으로 w(기울기)를 계속 이동시키며 가장 낮은 cost를 갖는 w를 찾는 방법
• 가장 먼저 결정할 것은 최적화할 함수이며, 앞서 정의한 cost function이 대상이다.
• w를 이동시키는 크기는, 현재 w값에서의 cost function의 기울기(미분값)에 임의의 비율(learning rate)을 곱하여 사용한다.

# 미분, 기울기, 순간변화량
# x축으로 1만큼 움직였을 때 y축으로 움직인 거리
# broadcasting을 통해 연산이 이루어지므로, 데이터의 디멘젼의 변화를 잘 따라가야 한다.
# epoch는 경사 하강을 수행하는 횟수이다.

def gradient_descent(x, y, w):
    c = 0
    hx = w * x
    return sum((hx-y)*x) / len(x)

def show_gradient_descent(x, y, w, epoch=10, lr=0.1):
    for i in range(epoch):
        g = gradient_descent(x, y, w)
        w -= 0.1 * g
        print(i, w)
    return w

x = np.array([1, 2, 3])
y = np.array([1, 2, 3])
w = 100
epoch = 100
# lr = 0.1
w = show_gradient_descent(x, y, w, epoch=epoch)
print("x = 3 일 때 y =", w*3)