原生RNN遇到的问题:

The vanishing gradient problem for RNNs，也就是后面时间的节点对于前面时间的节点感知力下降，也就是忘事儿，这也是NN在很长一段时间内不得志的原因，网络一深就没法训练了. LSTM就是用来解决这个问题的. 引入了一个叫cell的东西来帮助记忆.

Block(中间的小圆圈)

1. Cell，就是我们的小本子，有个叫做state的参数东西来记事儿的
2. Input Gate，Output Gate，在参数输入输出的时候起点作用，算一算东西
3. Forget Gate：不是要记东西吗，咋还要Forget呢。这个没找到为啥就要加入这样一个东西，因为原始的LSTM在这个位置就是一个值1，是连接到下一时间的那个参数，估计是以前的事情记太牢了，最近的就不住就不好了，所以要选择性遗忘一些东西。（没找到解释设置这个东西的动机，还望指正）

参考:

RNN以及LSTM的介绍和公式梳理_网络_DarkScope从这里开始-CSDN博客