25.학습알고리즘 - yojulab/learn_deeplearning GitHub Wiki

parameter vs hyperparameter

파라미터 (AI가 스스로 알아내는 변수)

• weights • bias (애도 걍 weight 라고 부르기도 함)

하이퍼파라미터 (내가 정해줘야 하는 변수)

• (*) Epoch, batch size • Initial weight I • learning rate & learning rate scheduling • model architecture (layer 수, node 수, activation 함수 등...) • loss 함수 뭐 쏠지 • 최적화 기법 뭐 쏠지

optimizars

• An overview of gradient descent optimization algorithms
• youtube - 경사하강법 원리

Forward Propagation : MIT pdf-p.14~p.20

Activation Functions : MIT pdf-p.21~p.24

Perceptron : MIT pdf-p.25~p.34

• Simplified Output
• Multi Output