Hyperparameter

Hyperparameter(하이퍼파라미터)는 각 층의 뉴런수를 비롯하여 모델의 구조를 정하는 변수, 배치 크기, 학습률, 가중치 감소 등 모델 학습에 사용되는 여러가지 값이다.

Hyperparameter 튜닝을 위한 데이터 분리

• 훈련 데이터 (Train data): 파라미터(매개변수) 학습에 사용
• 검증 데이터 (Validation data): Hyperparameter 성능을 평가하는 데이터
• 시험 데이터 (Test data): 모델망의 범용 성능을 평가하는 데이터

Hyperparameter 최적화 방법

• Hyperparameter 범위를 점점 줄려가면서 최적의 hyperparameter 값을 찾아내는 방법
• 아래 방법으로 수행이 가능하다.
  1. 정해진 범위 내에서 랜덤하게 Hyperparameter를 추출한다.
  2. 1에서 뽑은 Hyperparameter를 이용해 학습하고 데이터 정확도를 측정한다. (적은 epoch으로 수행)
  3. 1, 2단계를 반복하면서 Hyperparameter의 범위를 줄여나간다.

Bayesian Optimization

hyperparameter 최적화를 효율적으로 하기 위한 방법이다.

• Bayesian Optimization 개요: 딥러닝 모델의 효과적인 hyperparameter 탐색 방법론 (1)
• Practical Bayesian Optimization of Machine Learning Algorithms (NIPS 2012)

Reference

• 밑바닥부터 시작하는 딥러닝 6장