DeepLearning_Lec10_2 - 8BitsCoding/RobotMentor GitHub Wiki

• YouTube

---

복습 : Overfitting

데이터에 의해서 곡선이 흐틀어 지는 현상

에러률이 레이어따라 떨어지는 듯 하더니 다시 올라가는 현상이 발생!

깊게 학습할 수록 overfitting될 확률이 높아진다.

그래서 어떻게 해결할 껀데?

• 학습데이터를 많이!
• 2번은 딥러닝에선 안해도 됨
• Regularization

데이터의 개수가 제한된다면 결국 Regularization이 답이네??

• Regularization : 데이터에 따라서 너무 그래프를 흐틀이지말고 나이스하게 펴자!

... 하나 더 있다! : Dropout

Dropout : 학습할때 몇개의 노드를 거치지말자!

Dropout의 아이디어는 모두 동시에 학습시 정확한 동작이 안나올 수 있기에 초기 몇개의 뉴런만 학습 후 이후 모든 뉴런이 학습하는 방식으로 동작하게 된다.

구현은 이렇게

Dropout Layer을 추가하면된다.

---

Ensemble

초기 값이 다른 머신러닝 모델을 여러개 생성 후 마지마에 combine