tf.Module 과 Tensorboard 시각화

사용 패턴 3

: 변수(tf.Variable) 에 계층적인 이름을 부여할 때

@tf.Module.with_name_scope

위 method 을 사용해 이름을 부여

1. tensor, operator 을 group 화해 시각화 할 시
2. 계층적인(hierarchies) 변수 관리를 하고 싶을 때

2가지 방법을 통해 변수를 관리할수 있는데

1. tf.name_scope(name=)

   class Dense(tf.Module):
       def __init__(self, in_features, out_features, name=None):
           super().__init__(name=name)
           with tf.name_scope(name=name):
               self.w = tf.Variable(
                   tf.random.normal([in_features, out_features]), name='w')
               self.b = tf.Variable(tf.zeros([out_features]), name='b')
   
       def __call__(self, x):
           y = tf.matmul(x, self.w) + self.b
           return tf.nn.relu(y)
   
   

2. tf.Module.name_scope

   class MLP(tf.Module):
     def __init__(self, input_size, sizes, name=None):
       super(MLP, self).__init__(name=name)
       self.layers = []
       with self.name_scope:
         for size in sizes:
           self.layers.append(Dense(input_dim=input_size, output_size=size))
           input_size = size
     @tf.Module.with_name_scope
     def __call__(self, x):
       for layer in self.layers:
         x = layer(x)
       return x
   

   변수만 묶을 건지 연산자 까지 모두 name_scope 에 묶을건지 결정 할 수 있다.

   다만 해당 방법은 모두 Module 이름으로 묶여진다는 단점이 있다.

   해당 이유는 이름 생성 시기 때문이다. 자세한 내용은 아래 tensorflow issue 을 살펴 보자