• 신경망을 훈련하기 위한 data가 엄청나게 많아졌음
• H/W가 크게 발정함
• 훈련 algorithm 향상
• 일부 인공 신경망의 이론상 제한이 실전에서 문제가 되지 않음이 밝혀짐
• 인공 신경망이 투자와 진보의 선순환에 들어간 것으로 보임

• 다층 Perceptron을 훈련하는 방법으로, Gradient를 자동으로 계산하는 경사하강법
• Network를 두 번(정방향, 역방향) 통화하는 것만드로 이 역전파 algorithm은 모든 model parameter에 대한 network 오차의 gradient를 계산 할 수 있음.
• Gradient를 구하고 나면 평범한 경사 하강법을 수행하며, 전체 과정은 network가 어떤 해결책으로 수렴될 때가진 반복.
• 순서요약
  1. 각 훈련 sample에 대해 역전파 algorithm이 먼저 예측을 만들고(정방향 계산) 오차를 측정
  2. 역방향으로 각 층을 거치면서 각 연결이 오차에 기여한 정도를 측정(역방향 계산)
  3. 오차가 감소하도록 가중치를 조정(경사 하강법)
• algorithm이 잘 동작하도록 활성화 함수에 변화를 줌, 즉 계단 함수를 logistic(sigmoid) 함수로 바꿈. 계단 함수는 수평선 밖에 없어 gradient를 계산할 수 없지만, logistic함수는 어디서든지 0이 아닌 gradient가 잘 정의되어 있음
• 역전파 Algorithm은 logistic 함수뿐 아니라, Tanh(Hyperbolic Tangent) 함수, ReLU(Rectified Linear Unit)도 활성화 함수로 많이 쓰임
• 활성화 함수가 필요한 이유는? 선형 변환을 여러개 연결해도 선형 변환이기 때문, 층 사이에 비선형을 추가하지 않으면 아무리 층을 많이 쌓아도 하나의 층과 동일해짐, 비선형 활성화 함수가 있는 충분히 큰 심층 신경망은 이론적으로 어떤 연속 함수도 근사할 수 있음

• kernel_inititalizer(Kernel 은 연결 가중치 행렬의 또 다른 이름)와 bias_initializer를 통해 가중치를 초기화 할 수 있음
• 가중치 행렬의 크기는 입력의 크기에 달려 있음, 이 때문에 Sequential model의 첫 번째 층을 추가할 때 input_shape 매개변수를 지정하는 것임. 그렇지만 입력 크기를 지정하지 않아도 Keras는 model을 build하기 전까지 입력 크기를 기달리 것임, model build는 실제 data를 주입할 때(예를 들어, 훈련 과정 중에) build() method를 호출할 때 일어남. model이 실제 build 되기 전에 층이 가중치를 가지지 않으면(summary() method 호출이나 model 저장 등의) 특정 작업을 수행할 수 없음. 따라서 model을 만들때 입력 크기를 알고 있다는 지정하는 것이 좋음

• compile() method를 호출하여 손실 함수와 optimizer를 지정, 부가적으로 훈련과 평가시 계산할 지료를 추가로 지정
• label이 정수 하나로 이뤄져있고(즉, sample마다 target class index 하나가 있음. 여기서는 0~9사이의 정수), class가 배타적이면 sparse_categorical_crossentropy 손실 사용
• Sample마다 class별 target 확률을 가지다면(예를 들어 class 3dml rdudn [0., 0., 0., 1., 0., 0., 0., 0., 0.,0.]인 one-hot vector라면) categorical_crossentropy 손실 사용
• 하나 또는 그 이상의 이진 label을 가진 이진 분류라면 출력층에 softmax대신 sigmoid를 사용하고, binary_crossentropy 손실 사용

• model을 훈련하려면 간단하게 fit() method 호출
• Keras는 epoch이 끝날 때마다 검증 set를 사용해 손실과 추가적인 측정 지표를 계산
• 훈련 set의 data가 특정 class에 편중되어 있다면 fit() method를 호출할때 class_weight 매개변수를 지정하는 것이 좋음. 빈도수가 적은 class는 높은 가중치를, 빈도수가 높은 class는 낮은 class를 부여
• Sample별로 가중치를 부여하고 싶다면 sample_weight 매개변수 지정
• class_weight와 sample_weight가 모두 지정되면 Keras는 두 값을 곱하여 사용
• validation_data tuple의 세 번째 원소로 검증 set에 대한 sample별 가중치를 지정할 수 도 있음 (class 가중치는 지정 못함)
• fit() method가 반환하는 History 객체는 훈련 parameter(history.params), 수행된 epoch list(history.epoch)가 포함됨. 이 객체의 가장 중요한 속성은 epoch이 끝날 때마다 훈련 set와 검증 set에 대한 손실과 측정한 지표를 담은 dictonary(history.history)임.
• 검증 손실은 epoch가 끝난 후 계산되고 훈련 손실은 epoch가 진행되는 동안에 계산되므로, 훈련 곡선은 epoch의 절반만큼 왼쪽으로 이동시켜 검증 곡선과 비교하는 것이 좋음.
• model의 성능이 만족스럽지 않다면 처음으로 돌아가 hyperparameter를 tuning. 맨 처음 확인할 것은 학습률, optimizer, 층의 개수, 층에 있는 neuron 개수, 은닉층이 사용하는 활성화 함수와 같은 model의 hyperparameter를 tuning. batch_size같은 다른 hyperparamter도 tuning
• model의 검증 정확도가 만족스럽다면 model을 상용 환경으로 배포하기 전에 evaluate() method를 사용하여 test set로 model을 평가하여 일반화 오차를 추정, 검증 set보다 test set에서 성능이 조금 낮은 것이 일반적. 왜냐하면 hyperparemeter를 tuning한 곳은 검증 set이기 때문에.. 그렇다고 test set에서 tuning하면 안됨. 일반화 오차를 매우 낙관적으로 추정하게 되므로..

• predict() method를 사용해 새로운 sample에 대한 예측 수행, predict_clsses() method를 사용해서 가장 높은 확률을 가진 class index를 추출할 수 있음

• 여러 출력이 필요한 작업. 예들 들어, 그림에 있는 주요 물체를 분류하고 위치를 인식등에 사용. 회귀 작업(물체 중심의 좌표와 너비, 높이를 찾음)과 분류 작업을 함께하는 경우
• 동일한 data에서 독립적인 여러 작업을 수행할 경우. 예를 들어 얼굴 사진으로 다중 분류 작업(multitask classification)을 수행할 수 있음. 예를 들어, 한 출력은 사람의 표정을 분류하고, 다른 출력은 안경을 썼는지 구분하는 작업
• 규제 기법으로 사용하는 경우. 예를 들어 신경망 구조안에 보조 출력을 추가하여 하위 network가 나머지 network에 의존하지 않고 그 자체로 유용한 것을 학습하는지 확인할 수 있음
• 각 출력마다 손실 함수 필요. 기본적으로 Keras 나열된 손실을 모두 더한 최종 손실 값을 훈련에 사용. 보조 출력보다 주 출력에 더 관심이 많다면 주 출력의 손실에 더 많은 가중치를 부여할 수 있으며 이럴 경우 model compile시 loss_weight를 사용해서 손실 가중치를 지정

• 장점: model을 저장하거나 복사, 공유가 쉽고, model의 구조를 출력하거나 분석하기 좋음. Framework가 크기를 짐작하고 type을 확인하여 error를 일찍 발견할 수 있음. 전체 model이 층으로 구성된 정적 graph이므로 debugging 쉬움
• 단점: 정적이라는 단점, model이 반복문을 포함하고 다양한 크기를 다뤄야하고, 조건문을 가지는 등의 동적인 구조를 만들 수 없음

• 조금 더 명령형(imperative) style의 programming 가능
• 순서
  1. Model class를 상속
  2. 생성자 안에서 필요한 층 생성
  3. call() method안에 수행하려는 연산 기술
• 장정: 높은 유연성
• 단점: model 구조가 call() method안에 숨겨져 있기 때문에 Keras가 쉽게 분석 할 수 없음. 즉, model을 저장하거나 복사할 수 없음. summary() method를 호출하면 층의 목록만 나열하고 층간의 연결 정보를 얻을 수 없음. Keras가 type과 크기를 미리 확인할 수 없어 실수가 발생하기 쉬움
• 높은 유연성이 필요하지 않다면 Sequential API나 함수형 API를 사용하는 것이 좋음

• fit() method에서 호출: on_train_begin(), on_train_end(), on_epoch_begin(), on_epoch_end(), on_batch_begin(), on_batch_end()
• evaluate() method에서 호출: on_test_begin(), on_test_end(), on_test_epoch_begin(), on_test_epoch_end(), on_test_batch_begin(), on_test_batch_end()
• predict() method에서 호출: on_predict_begin(), on_predict_end(), on_predict_epoch_begin(), on_predict_epoch_end(), on_predict_batch_begin(), on_predict_batch_end()

• GridSearchCV나 RandomSearchCV를 사용해 hyperparameter 공간을 탐색할 수 있음. 이렇게 하기 위해서는 Keras model을 scikit-learn 추정기처럼 보이도록 바꿔야함
  1. 일련의 hyperparameter로 Keras model을 만들고 compile할 수 있는 함수 생성
  2. 위 과정에서 함수를 사용해서 KerasRegressor or KerasClasssifer 객체 생성
  3. scikit-learn 회귀 추정기처럼 fit() method로 model훈련, score() method로 평가, predict() method로 예측
  4. model 하나를 훈련하고 평가하려는 것이 아니라 수백 개의 model을 훈련하고 검증 set에서 최상의 model을 선택해야 함. hyperparameter가 많으므로 Grid search보다는 Random search를 사용하는 것이 좋음. 은닉층 개수, neuron 개수, 학습률을 사용해 hyperparameter 탐색
  5. 실행
  6. 실행이 끝나면 Random search가 찾은 최상의 hyperparameter와 훈련된 model을 얻을 수 있음
  7. 이 model을 저장하고 test set에서 평가하여 성능이 만족스럽다면 상용 환경에 배포
• 장정: 사용법이 어렵지 않고, 간단한 문제에 잘 동작
• 단점: 훈려에 시간이 많이 걸리고, 대규모 dataset으로 복잡한 model을 훈련할 때 탐색할 수 있는 hyperparameter 공간에 제약이 생김
• 방안:
  • 탐색 과정을 수동으로 보조하여 문제 완화. 즉, hyperparameter 값의 범위를 크게하여 빠르게 첫번째 random search수행하고, 여기서 찾아진 hyperparameter 값을 중심으로 더 좁은 범위를 탐색. 역시 시간이 오래 걸림
  • hyperparameter 공간을 탐색하는 여러 기법 사용
    • 탐색 지역이 좋다고 판명될 때 더 탐색을 수행. 수동 작업 방식을 대신 관리하여 훨씬 적은 시간에 더 나은 solution을 만듦
    • Hyperparameter 최적화 python library
      • Hyperopt
      • Hyperas, kopt, Talos
      • Keras Tuner
      • Scikit-Optimize(skopt)
      • Spearmit
      • Hyperband
      • Sklearn_Deap
    • Hyperparameter 최적화 python service
      • Google Cloud Hyperparameter Tuning Service
      • [Arimo] (https://arimo.com)
      • [SigOpt] (https://sigopt.com)
      • [Oscar] (https://oscar.calldesk.ai)

• 아래쪽 은닉층은 저순준 구조, 중간층은 중간 수준 구조, 위촉 은닉층과 출력층은 고수준 구조를 modeling함

• 전이학습(transfer learning): 비슷한 작업에서 가장 뛰어난 성능을 낸 미리 훈련된 network 일부를 재사용하는 것, 훈련속도는 휠씬 빠르고, data는 훨씬 적게 필요

• 가장 중요한 hyperparameter
• 일반적으로 최적의 학습률은 최대 학습률의 절반정도.
• 좋은 학습률을 찾는 한 가지 방법은 매우 낮은 학습률에서 시작하여 점진적으로 매우 큰 학습률까지 수백 번 반복하여 model을 훈련하는 것

• 고전적인 평범한 mini batch 경사 하강법보다 좋은 optimizer 선택과 optimizer의 hyperparameter tuning이 중요

• Model의 성능과 훈련시간에 영향
• 큰 batch 사용의 장점은 GPU와 같은 H/W 가속기를 효율적으로 활용할 수 있음. 초당 처리량이 증가됨
• GPU RAM에 맞는 가장 큰 batch 크기 사용을 권장. 실전에서 작은 batch에서 보다 성능이 떨어지는 경우도 있으니 주의. 한 가지 전략은 학습률 예열을 사용해 큰 batch 크기를 시도해보고 훈련이 불안정하거나 최종성능이 만족스럽지 않은 경우 작은 batch 크기 사용

• 일반적으로 ReLU 활성화 함수가 모든 은닉층에 좋은 기본 값
• 출력층의 활성화 함수는 수행 작업에 따라 달라짐

• Tuning이 필요없으며, 대시 EarlyStopping사용

• gradient 소실, gradient 폭주: 심층 신경망의 아래쪽으로 갈수록 gradient가 점점 더 작아지거나 커지는 현상. 하위층 훈련을 어렵게 만드는 요인
• 대규모 신경망을 위한 훈련 data가 충분하지 않거나 label 작업비용이 많이들 수 있음
• 훈련이 극단적으로 느려질 수 있음
• 수백만개의 parameter를 가진 model은 훈련 set에 대한 과대적합 위험이 매우 큼. 특히 훈련 sample이 충분하지 않거나 잡음이 많은 경우

• logistic sigmoid 활성화 함수와 가중치 초기화 방법(평균이 0이고 표준편차가 1인 정규분포)의 조화. 이는 각 층에서 출력의 분산이 입력의 분산보다 더 커지게 됨. 신경망의 위쪽으로 갈수록 활성화 함수가 0이나 1에 수렴하게 되는데, 이는 logistic 함수의 평균이 0이 아니라 0.5라서 더욱 나뻐지게 됨(tanh함수는 평균이 0이므로 깊은 신경망에서 logistic함수 보다 조금 나음)

• 적절한 신호가 흐르기 위해서는 각 층의 출력에 대한 분산이 입력에 대한 분산과 같아야 한다

• 역방향에서 층을 통과하기 전과 후의 gradient 분산이 동일해야 한다.

• 실전에서 잘 동작하는 입증된 초기화 방법을 제안하고 이후 여러가지 초기화 방안들이 발표됨

  • 층의 fan-in과 fan-out : 층의 입력과 출력 연결 개수

  초기화 전략	활성화 함수	정규분포
  Glorot	활성화 함수 없음, tanh, logistic, softmax	1/fanavg
  He	ReLU 함수와 그 변종들	2/fanin
  LuCun	SELU	1/fanin

• dying ReLU: 훈련하는 동안 일부 neuron이 0 이외의 값을 출력하지 않음. neuron의 가중치가 바뀌어 훈련 set에 있는 모든 sample에 대해 입력의 가중치 합이 음수가 되면 neuron이 죽음. 가중치 함이 음수이면 ReLU 함수의 gradient는 0이 되므로 경사하강법이 더 이상 동작하지 않음
• LeakyReLU : dying ReLU 문제 해결하기 위한 ReLU의 변종. hyperparameter α가 이 함수가 새는(leaky) 정도를 결정. 새는 정도란 z<0일 때 이 함수의 기울기이며, 일반적을 0.01로 설정. 이 작은 기울기가 LeakyReLU를 절대 죽지 않게 만듦. 최근 논문에서 LeakyReLU가 항상 ReLU보다 성능이 높다고 함
• RReLU(Randomized leaky ReLU) : 훈련하는 동안 주어진 범위에서 α를 무작위로 선택하고 test시에는 평균을 사용. 훈련 set의 과대적합 위험을 줄이는 규제 역할을 하는 것처럼 보임
• PReLU(Parametric leaky ReLU) : α가 훈련하는 동안 학습(α가 hyperparameter가 아니라 다른 model parameter와 마찬가지로 역전파에 의해 변경됨). 대규모 image dataset에서 ReLU보다 성능이 크게 앞서지만, 소규모 dataset에서는 과대적합의 위험이 있음
• ELU(exponetial linear unit) : 다른 모든 ReLU 변종의 성능을 앞지렀음. 훈련 시간이 줄고 신경망의 test set성능도 더 높았음(2015년 Djork-Ame Clevert 논문)
  • 단점: 지수 함수를 사용하므로 ReLU나 그 변종들보다 계산이 느림. 훈련동안 수렴 속도가 빨라서 느린 계산이 상쇄되지만 test시에는 ELU를 사용한 network가 ReLU를 사용한 network보다 느릴 것임
• SELU(Scaled ELU) : 완전 연결 층만 쌓아서 신경망을 만들고 모든 은닉층이 SELU 활성화 함수를 사용한다면 network가 자기 정규화(self-normalize)된다고 함, 훈련하는 동안 각 층의 출력이 평균 0과 표준펴낯 1을 유지하는 경향이 있음(2017년 Gunter Klambauer 논문)
  • 자기 정규화를 위한 조건
    • 입력 특성이 반드시 표준화(평균 0, 표준편차 1)되어야 함
    • 모든 은닉층의 가중치는 LeCun 정규분포로 초기화 되어야 함. Keras에서는 kernel_initializer="lecun_normal"
    • Network는 일렬로 쌓은 층으로 구성되어야 함. 순환 신경망이나 skip 연결 과 같은 순차적이지 않은 구조에 SELU를 사용하면 자기 정규화되는 것이 보장되지 않음.
• 심층신경망에서는 일반적으로 SELU>ELU>LeakyReLU류>ReLU>tanh>logistic(sigmoid)
  • 자기 정규화 되지 못하는 구조라면 SELU보다는 ELU
  • 실행 속도가 중요하다면 LeakyReLU
  • 신경망이 과대적합 되었다면 RReLU, 훈련 set가 아주 크다면 PReLU 포함
  • ReLU는 지금까지 가장 널리 사용되는 활성화 함수이므로 속도가 중요하다면 선택

• Batch 정규화 층마다 네 개의 parameter vector가 학습됨. γ(출력 scale vector), β(출력 이동 vector)는 일반적인 역전파를 통해 학습됨. μ(최종 입력 평균 vector), σ(최종 입력 표준편차 vector)는 지수 이동 평균을 통해 추정됨. μ와 σ는 훈련하는 동안 추정되지만 훈련이 끝난 후 사용 됨

• 은닉층의 활성화 함수 전이나 후에 BatchNormalization 층 추가
• Batch 정규화 층은 입력마다 네 개의 parameter γ, β, μ, σ를 추가. 마지막 두개 parameter μ, σ는 이동 평균으로 역전파로 학습되지 않음
• 활성화 삼수 전에 batch 정규화 층을 추가하려면 은닉층에서 활성화 함수를 지정하지 말고 batch 정규화 층 뒤에 별도의 층으로 추가해야 함.
• 중요 parameter는 momentum과 axis가 있음
• Batch 정규화 층은 훈련 도중과 훈련이 끝난 후에 수행되는 계산이 다름. 훈련 동안에는 batch 통계를 사용하고 훈련이 끝난 후에는 '최종' 통계를 사용
• BatchNormalization은 심층 신경망에서 매우 널리 사용하는 층이 되었고, 보통 모든 층 뒤에 batch 정규화가 있다고 가정하므로 종종 신경망 그림에서 빠져 있음

• 임계값은 hyperparameter로 tuning할 수 있음
• gradient vector의 방향을 바꿀 수 있음
• gradient clipping이 gradient vector의 방향을 바꾸지 못하게 하려면 clipvalue대신 clipnorm 지정
• 훈련하는 동안 gradient가 폭주한다면 다른 임계값으로 값과 norm을 모두 사용할수 있다.(tensorboard를 사용해서 gradient 크기 추적). 그리고 검증 set에서 어떤 방식이 가장 좋은 성과를 내는지 확인

1. 재사용하는 층을 모두 동결
2. model을 훈련하고 성능 평가
3. 맨 위에 있는 한 두개 은닉층을 동결 해제하고 역전파를 통해 가중치 조정하여 성능이 향상되는지 확인

1. model A로부터 model B 생성 후 필요한 층 추가

• model B 훈련시 model A가 영향을 받으므로 이를 피하려면 clone_model() method로 구조 복제 후 set_weight() method로 가중치 설정

2. 처음 몇번의 epoch동안 재사용 층을 동결하고 새로운 층에게 적절한 가중치 학습시간 부여

• 층의 trainable 속성 False로 설정

3. 재사용된 층의 동결을 해제하고 정밀 tuning을 위해 model B 훈련 계속

• 재사용된 층의 동결은 해제한 후에는 학습률을 낮추는 것이 좋음

1. 연결 가중치 초기화
2. 좋은 활성화 함수
3. Batch 정규화
4. 전이 학습
5. 더 빠른 Optimizer

신경망의 인기있는 규제 방법 중 하나.

Dropout으로 훈련된 neuron은 이웃한 neuron에 맞춰 적응할 수 없으며 자기 자신이 유용해져야함. 이런 neuron들은 입력 neuron에 지나치게 의존하지 않고 모든 입력 neuron에 주의을 기울이게 되어 입력값의 작은 변화에 덜 민감해짐. 결국 더 안정적인 network가 되어 일반화 성능이 향상됨

Dropout은 각 훈련 step에서 고유의 model이 생성된다고 생가해되 됨. 결과적으로 만들어진 신경망은 이 모든 신경망을 평균한 ensemble로 볼수 있음

일반적으로 (출력층을 제외한) 맨 위의 층부터 세 번째 층까지 있는 neuron에만 dropout을 적용

Dropout은 훈련하는 동안에만 활성화 되므로 훈련 손실과 검증 손실을 비교하면 오해를 일으킬 수 있음. 특히 비슷한 훈련 손실과 검증 손실을 얻더라도 model이 훈련 set에 과대적합될 수 있으므로 훈련이 끝난 뒤 dropout을 배고 훈련 손실을 평가해야 함

dropout 비율 model이 과적합되면 증가, 과소적합되면 감소. 층이 클 때는 비율을 증가, 작은 때는 감소

최신 신경망 구조는 마지막 은닉층 뒤에 dropout 사용

dropout은 훈련을 느리게 만드는 경향이 있지만 성능을 향상시키므로 가치가 있음

Keras에서는 keras.layers.Dropout 사용

• TensorFlow 요약
  • 핵심 구조는 numpy와 비슷하지만 GPU지원
  • 분산 computing 지원
  • 일종의 JIT(just-in-time) compiler 포함. 속도 향상이 memory 최적화를 위해서 계싼 최적화함. Python 함수에서 계산 graph(computation graph) 추출후 최적화하고 효율적으로 실행
  • 계산 graph는 platform 중립적 format으로 어떤 환경에서든 사용 가능
  • 자동미분과 고성능 Optimizer를 제공하므로 모든 종류의 손실 함수를 쉽게 최소화 할 수 있음
• Tensorflow CPU, GPU, TPU 사용가능
• 하나의 library 그 이상으로 광범위한 생태계를 가짐
  • 시각화: tensorboard
  • 제품화 library 모음: TFX(TensorFlow Extended). data 시가고하, 전처리, model 분석, serving등이 포함됨
  • 사전 훈련된 신경망: **[TensorFlow Hub]++
  • TensorFlow model 저장소
  • TensorFlow Resource page: 1, 2

1. ** AutoGraph ** : Python 함수 source code 분석 후 순환문 및 제어문을 찾은 후 TensorFlow 연산으로 변경하여 upgrade 함수 생성
2. TensorFlow가 1번 단계에서 생성된 upgrade 된 함수 호출. 매개변수 값을 전달하는 대신 값이 값이 없고 이름, data type, 크기만 가지는 Symbolic Tensor전달
3. 2번의 호출은 Graph mode 로 실행. 즉 TensorFlow 연산이 해당 연산을 나타내고 tensor를 출력하기 위해 graph에 node 추가(Eager execution or Eager mode 와 반대 개념) => 어떤 연산도 하지 않음
4. Tracing 과정을 통해 최종 graph 생성

1. Numpy등 표준 library를 포함하여 다른 library를 호출하면 tracing 과정에서 실행됨. 즉 graph에 포함되지 않음
2. 다른 Python 함수나 TensorFlow 함수를 호출할 수 있음. 이 함수들의 연산을 감지하므로 동일한 규칙을 따름. 이런 함수들은 @tf.fuction decorator를 적용할 필요 없음
3. 함수에서 TensorFlow 변수를 만든다면 처음 호출될 때만 수행되어야 함. 그렇지 않으면 예외 발생. TensorFlow 함수 밖에서 생성하는 것이 좋음. 변수 값 할당은 = 대신 assign() method 사용
4. Python 함수의 source code는 TensorFlow에서 사용가 가능해야 함
5. TensorFlow는 tensor나 dataset을 순회하는 for문만 감지. for i in range(x) 대신 for i in tr.range(x) 사용. 그렇지 않으면 graph에 표현 안됨
6. 성능면에서 반복문보다는 가능한한 vector 구현 사용 추천

• Chaining Transformations
• Shuffling the Data
• Preprocessing the Data
• Putting Everything Together
• Prefetching
• Using the Dataset with tf.keras

• Compressed TFRecord Files
• A Brief Introduction to Protocol Buffers
• TensorFlow Protobufs
• Loading and Parsing Examples
• Handling Lists of Lists Using the SequenceExample Protobuf

• Encoding Categorical Features Using One-Hot Vectors
• Encoding Categorical Features Using Embeddings
• Keras Preprocessing Layers

• Kernel의 channel수도 입력 channel의 수만큼 존재해야 함.
• channel수가 값으므로 합성곱 연산을 channel마다 수행 후, 그 결과를 모두 더하여 최종 특성 map 생성
• 합성곱 연산의 결과로 얻은 특성 map의 channel 차원은 RGB channel등과 같은 color의 의미를 담고 있지 않음

• 특성 map을 down sampling하여 특성 map의 크기를 줄이는 연산. 일반적으로 최대 pooling과 평균 pooling이 사용됨
• Kernel과 stride 개념을 가짐. 그렇지만 학습해야 할 가중치가 없으며 연산 후 channel 수가 변하지 않음

• Open source: VGG Image Annotator, LabelImg, OpenLabeler, ImageLab
• 유료 제품: LabelBox, Supervisely
• Crowd sourcing platform: Amazon machanical turk -> image가 매우 많은 경우. 여러 절차가 필요하므로 꼭 필요한지 확인해야 함

• Sequence to Sequence를 이용한 번역보다 성능이 좋음. 문장의 마지막 단어가 번역의 첫 번째 단어에 영향을 줄 수 있기 때문임. 그래서 전체 문장이 주입될 때까지 대기 필요

• 단변량 시계열 : time step마다 값이 하나
• 다변량 시계열 : time step마다 값이 여러 개

• 순진한 예측(naive forecating) : 각 시계열의 마지막 값을 그대로 예측
• 완전 연결 network 사용

• 불안정한 gradient 문제는 좋은 가중치 초기화, 빠른 optimizer, dropout등으로 완화할 수 있지만, 수렴하지 않은 활성화 함수(e.g. ReLU)는 큰 도움이 되지 않고 RNN을 더 불안정하게 만들 수 있음.
• 이유는 경사하강법이 첫번째 time step에서 출력을 조금 증가시키는 방향으로 가중치를 update한다 가정하면, 동일한 가중치가 모든 time step마다 동일하게 사용되지 때문에 출력이 폭주할 수 함. 수렴하지 않은 활성화 함수는 이를 막지 못함. 작은 학습율을 사용하여 이런 위험을 감소시킬 수 있지만 간단히 tanh같은 수렴하는 활성화 ㅎ마수를 사용할 수 있음(tanh가 기본값인 이유임)
• 같은 방식으로 gradient 자체가 폭주할 수 있음. 훈련이 불안정하다고 느껴지면 gradient 크기를 monitoring하고 gradient clipping을 사용하는 것이 좋음

• Batch 정규화는 FFNN처럼 RNN에 효율적으로 사용할 수 없음. 사실 time step사이에 사용할 수 없고 순환층 사이만 가능
• Memory Cell에 batch 정규화층을 추가하여 time step마다 적용 가능. 하지만 입력이나 은닉상태의 실제 scale과 이동에 상관없이 동일한 parameter를 가진 batch 정규화가 time step마다 사용될 것임
• Batch 정규화는 RNN 성능 개선에 큰 도움은 안됨

• Batch 정규화와 매우 비슷하지만 batch 차원에 대해 정규화하는 대신 특성 차원에 대해 정규화
• Sample에 독립적으로 time step마다 동적으로 필요한 통계 계산
• 사용자 정의 RNN cell생성 후 층 생성 가능

• keras.layers.RNN을 제외한 모든 순환 층과 Keras에서 제공하는 모든 cell은 dropout, recurrent_dropout 매개변수 지원
• dropout: time step마다 입력에 적용되는 dropout 비율
• recurrent_dropout: time step마다 은닉 상태에 대한 dropout 비율
• RNN에서 time step마다 dropout을 적용하기 위해 사용자 정의 cell을 만들 필요 없음

• keras.layers.LSTM: GPU 실행에 최적화 되어 있으므로 선호되는 방법임
• keras.layers.RNN층에 LSTMCell을 매개 변수로 지정: 사용자 정의 cell을 만들때 많이 사용
• 입력 gate, 삭제 gate, 출력 gate를 가짐
• LSTM cell은 중요한 입력을 인식하고(입력 gate), 장기 상태에 저장하고, 필요한 기간 동안 이를 보존하고(삭제 gate), 필용할 때만다 이를 추출하기 위해 학습

• LSTM gate 제어기에 장기 상태도 조금 노출시켜 좀 더 많음 문맥을 감지하는 LSTM 변종
• 성능을 향상하는 경우가 많지만 늘 그렇지 않음.
• tf.keras.experimental.PeepholeLSTMCell 층

• LSTM cell의 간소화 version
• keras.layers.GRUCell을 기반으로 하는 keras.layers.GRU층 제공

• 1D 합성곱 층이 몇개의 kernel을 sequenced 위를 sliding하여 kernel 마다 1D 특성 map 추출
• 각 kernel은 매우 짧은 하나의 순차 pattern을 감지하도록 학습됨

• shift=1로 지정하면 가장 큰 훈련 set 생성
• drop_remainder=True로 지정하여 모든 window가 동일한 size를 가지게 함
• 결과물은 중첩 dataset(nested dataset)

• model은 dataset이 아니라 tensor를 기대하므로 중첩 dataset을 바로 사용할 수 없음. 그러므로 중첩 dataset를 flat dataset 으로 만들기 위해 사용
• 중첩 dataset을 평평하게 만들기 전에 각 dataset에 적용할 변환 함수를 매개변수로 받을 수 있음

• window마다 batch(window_length) 호출
• 경사 하강법은 훈련 set sample이 동일 독립 분포일 때 가장 잘 작동하므로 shuffle()

• 입력과 target으로 분리
• 범주형 입력 특성은 one-hot vector나 embedding으로 encoding 되어야 하므로 변환시 사용

• MNIST가 computer vision계의 'hello world'라면, 자연어 처리계에서는 IMDB review
• 영화 review 50,000개(훈련 25,000, test 25,000)
• Notebook에서 감당할 시간 안에 처리할 수 있을 만큼 간단하지만 충분히 재미있고 도전 가치 있음

• 실전 projec에서는 직접 text 전처리
• Tokenizer class 사용. char_level=False 단어 단위 처리. 대부분 구두점, 줄바꿈. tab을 포함한 많은 글자가 제거됨
• 공백 기준 단어 분리 시. 국가에 따라 문제가 있을 수 있음
• 더 좋은 방법은
  • 부분 단어 수준으로 text를 token화 하거나 비지도 학습 방법
    • Google의 SentencePiece
  • 부분 단어를 encoding하는 방법
    • Byte pair encoding
  • TF.text library
    • Byte pair encoding의 변종인 WordPiece를 포함한 많은

• 비지도 사전훈련 방식. Transformer와 유사한 구조
• 대규모 dataset에서 (masked multi-head attention층만 사용한) transformer module 23개를 쌓아 규모가 크지만 간단한 model을 사전 훈련함

• GPT와 비슷한 구조지만 (transformer의 encoder처럼) mask가 없는 multi-head attention 층 사용
• 자연스럽게 양방향성을 가짐
• 두 가지 사전 훈련 작업
  • MLM(Masked Langugage Model)
    • 문장에 있는 각 단어는 15% 확률로 masking후 model은 masking한 단어를 예측하도록 훈련
    • 선택된 각 단어는 80% 확률로 masking되고 10% 확률로 다른 단어로 바꿈(model을 세부 tuning하는 동안 token이 없기 때문에 사전 훈련과 세부 tuning 사이의 차이점을 줄이기 위해서임). 그리고 10% 확률로 그래도 남겨짐(정확한 답으로 model을 편향시키기 위함)
  • NSP(Next Sentence Prediction)
    • 두 문장이 연속적인지 아닌지를 예측하도록 model을 훈련
    • 질문 대답이나 수반 관계와 같은 작업에서 세부 tuning을 할때 model 성능을 크게 향상시킴

• Implementing a Stacked Autoencoder Using Keras
• Visualizing the Reconstructions
• Visualizing the Fashion MNIST Dataset
• Unsupervised Pretraining Using Stacked Autoencoders
• Tying Weights
• Training One Autoencoder at a Time

• Generating Fashion MNIST Images

• The Difficulties of Training GANs
• Deep Convolutional GANs
• Progressive Growing of GANs
• StyleGANs

• Exploration Policies
• Approximate Q-Learning and Deep Q-Learning

• Fixed Q-Value Targets
• Double DQN
• Prioritized Experience Replay
• Dueling DQN

• Installing TF-Agents
• TF-Agents Environments
• Environment Specifications
• Environment Wrappers and Atari Preprocessing
• Training Architecture
• Creating the Deep Q-Network
• Creating the DQN Agent
• Creating the Replay Buffer and the Corresponding Observer
• Creating Training Metrics
• Creating the Collect Driver
• Creating the Dataset
• Creating the Training Loop

• Using TensorFlow Serving
• Creating a Prediction Service on GCP AI Platform
• Using the Prediction Service

• Getting Your Own GPU
• Using a GPU-Equipped Virtual Machine
• Colaboratory
• Managing the GPU RAM
• Placing Operations and Variables on Devices
• Parallel Execution Across Multiple Devices

• Model Parallelism
• Data Parallelism
• Training at Scale Using the Distribution Strategies API
• Training a Model on a TensorFlow Cluster
• Running Large Training Jobs on Google Cloud AI Platform
• Black Box Hyperparameter Tuning on AI Platform