AutoGraph - lshhhhh/deep-learning-study GitHub Wiki

Why do we need graphs in TensorFlow?

• 성능: (공통의 sub-expressions을 제거하거나, pruning, kernel fusing을 하는 등의) 모든 종류의 최적화를 할 수 있게 한다.
• 이식성(portability): 계산에 대한 platform-independent 모델을 만들기 때문에, distributed training과 모든 종류의 환경에서의 deployment를 용이하게 한다.

  multiple GPU나 TPU에서의 distributed training
  TensorFlow Lite를 이용하여 mobile이나 IoT과 같은 다른 platform에서 모델을 deploy

TensorFlow Functions and Graphs

TF 1.x에서는 session.run을 통해 입력과 함수를 지정하여 함수를 호출하였다. TF 2.0에서는 세션 대신 tf.function()를 사용한다. 이렇게 하면 TF가 이 함수를 하나의 그래프로 실행하기 위해 JIT 컴파일을 한다. 이 메커니즘 덕분에 TF 2.0에서 default 모드가 그래프 모드가 아닌 eager 모드이지만, 그래프의 장점을 모두 가져올 수 있었다. (Eager Execution for Faster Prototyping, Graph for Execution)

# TF 1.x
outputs = session.run(f(placeholder), feed_dict={placeholder: input})
# TF 2.0
outputs = f(input)

먼저 Python function -> TensorFlow function 변환을 해보자.

def cube(x):
    return x ** 3

>>> cube(2)
8
>>> cube(tf.constant(2.0))
<tf.Tensor: id=18634148, shape=(), dtype=float32, numpy=8.0>

>>> tf_cube = tf.function(cube)
>>> tf_cube
<tensorflow.python.eager.def_function.Function at 0x1546fc080>
>>> tf_cube(2)
<tf.Tensor: id=18634201, shape=(), dtype=int32, numpy=8>
>>> tf_cube(tf.constant(2.0))
<tf.Tensor: id=18634211, shape=(), dtype=float32, numpy=8.0>

더 일반적으로는 tf.function decorator를 써서 만든다.

@tf.function
def tf_cube(x):
    return x ** 3

TF function에서 본래의 python function도 쉽게 가져올 수 있다.

>>> tf_cube.python_function(2)
8

1. Python 함수에 대하여 computation graph, 사용하지 않는 node들 pruning, expressions을 간단하게 만들기(e.g., 1 + 2 -> 3).. 등등을 최적화한다.
2. 최적화된 graph가 준비되면, TF 함수는 graph에서 적절한 순서로, 병렬 수행을 할 수 있다면 병렬로도, 효율적으로 실행된다.

결과적으로 기존의 Python 함수에 비해 많이 빨라지고, 특히 복잡한 계산을 수행할 때 더 유용하다. Python 함수를 boost하고 싶다면 TF function으로 바꿔보자.

AutoGraph and Tracing

Module: tf.autograph

텐서플로는 Python 인터프리터가 없는 모바일, C++, 자바스크립트 같은 환경에서도 실행되는데, 사용자가 환경에 따라 코드를 재작성하지 않도록 @tf.function를 추가하면 AutoGraph가 파이썬 코드를 동일한 텐서플로 그래프 코드로 변경함으로써 가능한 일이다.

TF 2.0에서 AutoGraph는 tf.function이 사용되면 자동으로 적용된다.

AutoGraph process

1. 먼저, 모든 control flow statement (for, if, while, break, continue, return)를 알기 위해 Python 함수를 분석한다. 함수 코드를 분석한 후에, autoGraph는 control flow를 적절한 TF operation으로 업그레이드된 함수를 output으로 내보낸다.
   • for/while -> tf.while_loop (break과 continue 문 지원)
   • if -> tf.cond
   • for _ in dataset -> dataset.reduce
2. 다음으로는 TF는 이 업그레이드된 함수를 call하는데, argument를 pass하는 대신, symbolic tensor(실제 값은 없고, 이름과 data type, shape만 들어있는 tensor)를 pass한다.
3. 이 TF 함수를 tracing하여 그래프가 만들어진다.

이제 이 함수는 그래프 모드로 실행된다.

AutoGraph는 임의의 중첩된 control flow도 지원한다. 시퀀스(sequence) 모델, 강화 학습, 독자적인 훈련 루프 등 복잡한 머신러닝 프로그램을 간결하면서 높은 성능을 내도록 구현할 수 있다.