Tensorflow Modeling

1. 개요

Tensorflow 는 우리가 설계한 알고리즘을 쉽게 구현하게 해줄수 있게 도와주는 딥러닝 프레임 워크입니다.
이번 시간에는 Tensorflow 을 활용해 어떻게 모델을 구현할 수 있는지 살펴 보겠습니다.
해당 Post는 Tensorflow 을 활용해 ML 모델을 만드는 대표적인 2가지 방법을 설명합니다.

• Tensorflow low level api
• Tensorflow high level api(Keras)

❖ MNIST Dataset을 Deep Neural Network 을 통해 분류하는 예제로 위 개념들을 설명합니다.
만약 MNIST 에 대한 개념이 부족하다면 DNN 파트를 참고해주세요.

2. High level api Vs Low level api

2.1 High level api

Tensorflow는 유저가 딥러닝 또는 머신러닝을 보다 쉽게 구현할 수 있도록 API를 제공합니다.
이런 API 을 High Level API 라고 합니다.
대표적인 Tensorflow 의 High level api 인 Keras 을 사용해 Fully Connected Layer을 한 층 구현해 보도록 하겠습니다.
Fully Connected Layer 는 크게 2가지 단계를 거칩니다.

• Step 1. 입력값(X) 과 가중치(W)을 내적(Inner Product)합니다.
• Step 2. 활성화 함수(Activation function)을 Step1 의 결과에 적용합니다.

a = Dense(units=64, activation='relu')(X)

High level api 는 쉽게 코드를 구현할 수 있는 장점이 있지만 반대로 내부에서 어떤 연산들이 진행되는지 쉽게 알기 어려운 단점이 있습니다.
(물론 High level api 의 정의(declaration) 을 살펴 봐 함수 내부의 작동 원리를 알수 있습니다.)

또 다른 단점으로는 알고리즘의 내부 작동 방식을 다르게 바꿔서 작동 시키고 싶을 때
High level api 가 바뀐 기능을 제공 하고 않는다면 high level api 에서 구현 할 수 없는 단점이 있습니다.

2.2 Low level api

High level api 의 단점을 극복하고자 Low level api 을 알고 있는 것은 중요합니다.
위 Fully Connected Layer 을 Tensorflow 의 Low level api 로 구현해 보도록 하겠습니다.

# Weight를 생성합니다. 
init_w = tf.random.normal(mean=0.0, stddev=1.0, shape=(784, 64))
w = tf.Variable(init_w)

# Bias을 생성합니다. 
init_b = tf.zeros((64))
b = tf.Variable(init_b)

# Inner product 을 수행합니다. 
z = tf.matmul(X, w)

# Activation Function 인 Relu을 적용합니다. 
a = tf.relu(z)

코드의 줄수가 High level api 을 사용한 것보다 확실히 많이 늘어난 것들을 확인할 수 있습니다.
하지만 줄수가 늘어난 만큼 알고리즘을 수행해야 하는 각 단계를 보다 명확히 이해 할 수 있습니다.

가령 High level api 에서 알수 없었던 weight의 초기값(initial value) 가 평균 0, 분산 1 인 정규 분포 로 되어 있다는걸 코드로 알 수 있고
bias 의 초기값이 0.0 으로 되어 있다는 것을 알 수 있습니다.

init_w = tf.random.normal(mean=0.0, stddev=1.0, shape=(784, 64))
init_b = tf.zeros((64))

Sum-up

1. high level api 로 작성해서 문제가 생길 이슈가 없다면 가능하면 high level api 로 먼저 프로그램을 작성 하는 것이 바람직하다.

• 모두가 알고 있는 변수명, 함수명 등을 통해 협업하기가 매우 수월해진다.
• 이미 검증된 코드임으로 유지 보수가 수월해진다.
• 코드를 작성하는데 시간이 적게 걸린다.

2. 만약 High level api로 작성시 문제가 생겼으면 문제가 생긴 부분을 low level api 로 변경한다.

• example) serving 이나 배포 환경에서 high Level API 가 작동하지 않을때가 있다.
  이때는 High level api을 Low level api 로 변경 할 수 있어야 한다.