word2vec

目录

negative sampling

负采样似然函数

P(w)通常取为U(w)^3/4。

幂次项对超高频的word起到了下采样的作用。

同时与之前的方法一致，负采样时根据词频决定采样的可能性大小。

某个单词采样的可能性大小如下，参数取3/4。

$$len(w) = \frac{[counter(w)] ^ {\frac{3}{4}}}{\sum_{u\in D} [counter(u)] ^ {\frac{3}{4}}}$$

模型涉及的超参

• 向量的维度
• context window的大小

评估方法

Intrinsic评估，向量类比（word vector analogies)，评估一组词向量在语义和句法上表现出来的线性关系。

参考

• negative sampling