position embedding

目录

位置敏感模型和位置不敏感模型

• 位置敏感模型：RNN和TextCNN等
• 位置不敏感模型：attention

绝对位置编码和相对位置编码

绝对位置编码

现在普遍使用的一种方法Learned Positional Embedding编码绝对位置，相对简单也很容易理解。直接对不同的位置随机初始化一个postion embedding，加到word embedding上输入模型，作为参数进行训练。

相对位置编码

两种编码相对位置的方法：Sinusoidal Position Encoding和Complex embedding。

• 余弦位置编码

• 复数位置编码

参考

• https://mp.weixin.qq.com/s/DQvhw6gTJt2V_8CPD0jHEQ