DeepLearning_L02 - 8BitsCoding/RobotMentor GitHub Wiki

Menu

• 이론
• 실습
• 전체코드

---

이론

가설 H(x)를 아래와 같이 정의 했다면

목적 : 가설과의 거리가 가장 가까운 그래프를 찾는다.

다음의 cost함수가 최소가 된다면? -> 목적을 이룰 수 있다.

어떻게 최소화 하는지는 다음강의에서 설명(참고로 아래 구현부에 설명이 되어 있지만 gradient descent algorithm을 이용한다.)

---

실습

기본적 import

# Lab 2 Linear Regression
import tensorflow as tf
tf.set_random_seed(777)  # for reproducibility

tf.set_random_seed(777) # for reproducibility는 아직 뭔지 모름 일단 무시

# X and Y data
x_train = [1, 2, 3]
y_train = [1, 2, 3]

간단한 x, y값을 주어지고

주어진 x, y데이터에 따른 W, b(Weight, bias)를 찾아보자.

# Try to find values for W and b to compute y_data = x_data * W + b
# We know that W should be 1 and b should be 0
# But let TensorFlow figure it out
W = tf.Variable(tf.random_normal([1]), name="weight")
b = tf.Variable(tf.random_normal([1]), name="bias")

tf.Variable에서 말하는 variable은 tensorflow가 사용하는 variable을 의미 tensorflow가 값을 바꿔가며 사용할 값임. (tranninable varible이라고도 한다.)

W = tf.Variable(tf.random_normal([1]), name="weight") 해석 :

W라는 tensor를 Variable(tensorflow가 변경가능한 값)으로 두고 random_normal를 넣는데 shape은 [1]이다

# Our hypothesis XW+b
hypothesis = x_train * W + b

가설은 위와같이 정의 할 수 있고

# cost/loss function
cost = tf.reduce_mean(tf.square(hypothesis - y_train))

함수는 위와 같이 정의 할 수 있다.

tf.reduce_mean는 평균을 만들어주는 것을 의미

# optimizer
train = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(cost)

GradientDescentOptimizer를 통하여 cost(lost)를 minimize한다.

minimize는 어떻게 하는데?? -> 지금은 tensorflow가 해주는 매직이라 생각

# Launch the graph in a session.
with tf.Session() as sess:
    # Initializes global variables in the graph.
    sess.run(tf.global_variables_initializer())

세션을 생성 후 with tf.Session() as sess:

W, b라는 tensorflow의 variable을 사용하기 위해선 sess.run(tf.global_variables_initializer())를 호출해 주어야한다.

    # Fit the line
    for step in range(2001):
        _, cost_val, W_val, b_val = sess.run([train, cost, W, b])

        # 2001번 도는데 20번에 한 번씩 출력해줘
        if step % 20 == 0:
            print(step, cost_val, W_val, b_val)

제일 궁금한 점은 _, cost_val, W_val, b_val = sess.run([train, cost, W, b])가 어떻게 동작하는지 이다

sess.run 세선을 돌리는데

([train, cost, W, b]) 각 노드를 돌려달라

train = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(cost)

cost함수를 최소화 하게 만들고 싶은데 tensorflow가 변경가능한 변수는 W, b로 선언했기에 W, b를 변경하며 동작

cost = tf.reduce_mean(tf.square(hypothesis - y_train))

W = tf.Variable(tf.random_normal([1]), name="weight")

b = tf.Variable(tf.random_normal([1]), name="bias")

W, b는 변수로 선언

---

전체코드

# Lab 2 Linear Regression
import tensorflow as tf
tf.set_random_seed(777)  # for reproducibility

# X and Y data
x_train = [1, 2, 3]
y_train = [1, 2, 3]

# Try to find values for W and b to compute y_data = x_data * W + b
# We know that W should be 1 and b should be 0
# But let TensorFlow figure it out
W = tf.Variable(tf.random_normal([1]), name="weight")
b = tf.Variable(tf.random_normal([1]), name="bias")

# Our hypothesis XW+b
hypothesis = x_train * W + b

# cost/loss function
cost = tf.reduce_mean(tf.square(hypothesis - y_train))

# optimizer
train = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(cost)

# Launch the graph in a session.
with tf.Session() as sess:
    # Initializes global variables in the graph.
    sess.run(tf.global_variables_initializer())

    # Fit the line
    for step in range(2001):
        _, cost_val, W_val, b_val = sess.run([train, cost, W, b])

        if step % 20 == 0:
            print(step, cost_val, W_val, b_val)

# Learns best fit W:[ 1.],  b:[ 0.]
"""
0 2.82329 [ 2.12867713] [-0.85235667]
20 0.190351 [ 1.53392804] [-1.05059612]
40 0.151357 [ 1.45725465] [-1.02391243]
...
1960 1.46397e-05 [ 1.004444] [-0.01010205]
1980 1.32962e-05 [ 1.00423515] [-0.00962736]
2000 1.20761e-05 [ 1.00403607] [-0.00917497]
"""