DeepLearning_Lec07 - 8BitsCoding/RobotMentor GitHub Wiki

• 참고사이트
• 참고사이트2

---

Learning Rate으로 인한 Over shooting

보통 위와 같이 Learning Rate을 둔다.

하지만 Learning Rate을 잘못 설정하면 Over shooting현상이 발생할 수 있다. 예를 들어보자.

Learning Rate이 너무 크다면 : 위 그림과 같이 정환한 최저점을 찾지 못하는 현상이 발생할 수 있다.

Learning Rate이 너무 작다면 : 계산의 시간이 너무 오래걸리거나, 최저값까지 도달하지 못하는 현상이 발생

Learning Rate선정 기준이 뭔데 그럼?

• 정답읍 없다. 0.01부터시작해서 계속해보는 수 밖에...
• 발산이 되면 작게, 너무 늦게 움직이면 크게

---

주어진 데이터 값이 많이 다를 경우?

x1, x2데이터가 많이 달라서 Learning Rate에 따라 발산 or 계산이 오래 걸릴 수 있다.

해결책은 뭔데?

• zero-centreed data
• normalized data

Learning Rate를 잘 잡은거 같은데 발산이나 너무 오래걸리는 현상이 발생한다면 데이터를 의심하라!

---

Overfitting

학습 시 너무 데이터 의존적 학습모델이 나오는 현상을 의미, 아래그림을 참고하자

어떻게 Overfitting을 방지하지?

• More training data (많은 자료)
• Reduce the number of features(중복된 자료를 제거)
• Regularization(일반화 시킨다?)

---

Regularization

cost함수에 특정 텀을 추가 해 줌으로서 간단하게 해결가능

---

학습이 잘 되었는지 어떻게 확인하지???

학습시킨 데이터를 다시 물어보면 어떨까?

같은 데이터에 의해 학습되었기에 학습의 검증을 위해선 좋지 못한 방법이다(100% 정확한 결과가 나올 확률이 높음.)

---

앞의 70%를 학습시키고 뒤의 30%를 테스트하는 방법은 어떤가?

추가적으로 Validation Set(모의시험)을 두어 튜닝용 데이터를 남기기도한다.

---

Online learning

데이터의 양이 많다면 데이터를 나누어 학습시키는 방법