Embedding - bryanneliu/Nature-Language-Processing GitHub Wiki

Embedding

Embedding就是用一个低维稠密向量“表示”一个对象(object)。

Embedding对于深度学习的重要性

1. One-hot encoding对类别，id型特征进行编码，导致样本特征向量极度稀疏，而深度学习的结构特点使其不利于稀疏特征向量的处理。深度学习模型使用Embedding层负责将高维稀疏特征向量转换为低维稠密特征向量。
2. Embedding本身就是极其重要的特征向量。引入Graph Embedding之后，Embedding几乎可以引入任何信息进行编码。
3. Embedding是常用的系统召回层技术。