tfAlexNet - juedaiyuer/researchNote GitHub Wiki
Tensorflow实现AlexNet
数量等级
包含6亿3000万个连接，6000万个参数，65万个神经元，拥有5个卷积层，其中有3个卷积层，后面连接最大池化层，最后还有3个全连接层
ILSVRC2012比赛，top-5的错误率降低至16.4%
使用的新技术点
- Relu作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，Relu很久之前就被提出，但是直到AlexNet的出现才将其发扬广大
- 训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个连接层使用了Dropout
- 在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性
- 提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其它反馈较小的神经元，增强了模型的泛化能力
- 使用了CUDA加速深度卷积网络的训练，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算。
- 数据增强
