LSTM - leemik3/tensorflow-2.0 GitHub Wiki

• RNN의 기울기 소멸 문제 방지
• 망각 게이트, 입력 게이트, 출력 게이트를 은닉층의 각 뉴런에 추가

망각 게이트 (forget gate)

• 과거 정보를 얼마나 기억할지 결정
• 과거 정보와 현재 데이터를 입력 받아 시그모이드를 취한 후 그 값을 과거 정보에 곱함 (시그모이드 출력값에 따라 과거 정보를 버리거나 보존)

입력 게이트(input gate)

• 현재 정보를 기억하기 위해 만들어짐
• 현재 정보에 대한 보존량 결정

출력 게이트(output gate)

• 과거 정보와 현재 데이터를 사용하여 뉴런의 출력을 결정