1 Word meaning
1. 1 word meaning的两种定义
Definition meaning：单词的含义指代了客观存在的具体事物，如眼镜。
Distributional similarity meaning：上下文代表了单词的含义，如下：
Distributional similarity meaning也是word2vec算法的基本假设。
2 word2vec
2.1 word2vec概览
word2vec是一个软件包，包含了两种算法（skip-gram和CBOW），以及两种高效的训练方式。本节先介绍低效简单的训练方式，之后再介绍这两种高效方法。
2.2 skip-gram
（1）思想：用中心词预测上下文的词。
（2）损失函数：
其中条件概率用softmax方式计算：
（3）整个skip-gram的前向传播过程
（4）训练
梯度下降（略）