self attention - zs-collab/- GitHub Wiki

不同的输出方式

1. 每一个输入都对应着一个输出
2. 多输入单输出（分析一个句子是正向的还是反向的）
3. 输出不一定（不同语种的翻译，语音辨识）
   
   
   

Sequence Labeling

如何更好的区分标签

self attention

将整个序列经过self attention，输出一样个数的序列，在经过FC思考属于哪一个种类，最终得到输出
self attention的原理：
分别计算每个向量之间相关程度（α），需要计算自己跟自己的关联性，算出相应的α后，经过激活函数，提取出关联性最大输出