http://d0evi1.com/word2vec-subsampling/
为了度量这种罕见词与高频词间存在不平衡现象,我们使用一个简单的subsampling方法:训练集中的每个词wiwi,以下面公式计算得到的概率进行抛弃:
![](https://img2018.cnblogs.com/blog/808192/201912/808192-20191203145053818-395019711.png)
f(wi)是wi的词频,t为选中的一个阀值,通常为(1e-5=0.00001)周围。我们之所以选择该subsampling公式,是因为:它可以很大胆的对那些词频大于t的词进行subsampling,并保留词频的排序(ranking of the frequencies)。尽管subsampling公式的选择是拍脑袋出来的(启发式的heuristically),我们发现它在实践中很有效。它加速了学习,并极大改善了罕见词的学习向量的准确率(accuracy)。