DeepLearning_Lec10_1 - 8BitsCoding/RobotMentor GitHub Wiki

• YouTube

---

초기 값(Weight)를 어떻게 할 것인가??

같은 ReLU 에도 다음과 같이 큰 차이가 나는 이윤 뭘까??

기존까지는 초기값을 Random으로 넣기에 위와 같은 큰 차이가 발생한다.

그래서 어떻게 초기값을 정하는데??

RBM(Restricted Boatman Machine)을 써보자

역시 여기에 모든 설명을 적긴 힘들고 강의를 보면 정확(6:00)

대략적 설명은 두 개의 노드를 encode/decode를 하여 weight를 찾는다.

아니 근데 매 노드를 저런식으로 한다고? 구현이 너무 힘들꺼 같은데??

다행히 RBM 알고리즘은 잘 쓰이지 않는다.

더 좋은 방법이 나왔기 때문!

입력이 몇개인가(fan_in) 출력이 몇개인가(fan_out)