auto encoder - glqglq/ml_dl_wiki GitHub Wiki
VAE
Motivation
- 对于AE，从输入到输出的整个过程，都是基于已有的训练数据的映射，尽管隐藏层的维度通常比输入层小很多，但隐藏层的概率分布依然只取决于训练数据的分布，这就导致隐藏状态空间的分布并不是连续的，于是如果我们随机生成隐藏层的状态，那么它经过解码将很可能不再具备输入特征的特点，因此想通过解码器来生成数据就有点强模型所难了。
- 对于VAE，将经过神经网络编码后的隐藏层假设为一个标准的高斯分布，输入一个x，得到一个潜在高斯概率分布P(z|x)，然后再从这个分布中采样一个特征，再用这个特征进行解码，从而得到了连续完整的潜在空间，解决了AE中无法用于生成的问题。我们把原始输入x 看作是一个表面特征，而其潜在特征便是表面经过抽象之后的类特征，它将比表面特征更具备区分事物的能力。